Wie der Porträtmodus des neuen iPhone SE versucht, das Pixel zu übertreffen

Quelle: Alex Dobie / Android Central

Das ist kein Geheimnis Googles Pixel-Handys Ich hatte einige der besten Kameras, die Sie auf jedem Telefon finden können, obwohl die meisten nur ein Kameraobjektiv haben. Sie verlassen sich auf Software-Magie, um das, was die Kamera sieht, in ein großartiges Foto zu verwandeln, und Effekte wie Porträtmodus oder Nachtsicht bringen diese Software noch weiter. Es macht Sinn - Google ist schließlich in erster Linie ein Softwareunternehmen.

Apple stellt Hardware her und verkauft sie an Menschen. Google macht meistens Algorithmen.

Apple ist nicht in erster Linie ein Softwareunternehmen, zumindest nicht so wie Google. Apple ähnelt eher Samsung und entwickelt Produkte, die die Leute kaufen möchten, ohne an die darin enthaltene Software zu denken. Aber genau wie Samsung ist Apples Kameraspiel stark. Sehr stark. Eine Auswahl von Fotos vom iPhone 11 zeigt, wie gut Apples Kameras sein können.

Und dann haben wir die neues iPhone SE. Seien wir ehrlich - es ist ein iPhone 8 mit einem besseren Chipsatz. Das ist keine schlechte Sache, aber es bedeutet, dass es nur eine Kamera gibt, um Bilder aufzunehmen. Warum sind sie so gut, besonders Porträts? Und bevor Sie es sagen, sind sie gut. Zumindest Porträts von Menschen, die wir gleich erklären werden. Maschinelles Lernen, deshalb.

Dieser neue Chip

Quelle: iMore

Das A13 Bionic Prozessor im iPhone SE ist der gleiche Prozessor, den Sie in der iPhone 11-Serie finden. Es ist Apples neueste Version und in vielen Dingen wirklich gut - maschinelles Lernen ist eines dieser Dinge, dank einer eigenständigen neuronalen Engine mit eigenem Mikroprozessor.

Aufgrund dieser Hardware konnte Apple das einbeziehen, was es nennt. "Einzelbild-Schätzung der monokularen Tiefe"Das ist eine sehr komplexe Art zu sagen, dass Porträtfotos nur mit den Bilddaten aufgenommen werden können, die eine Kamera aufnehmen kann. Ja wirklich. Es gibt keine Flugzeitsensor oder LiDAR oder einer der anderen Tricks, die das Erfassen der Tiefe erleichtern würden, nur das eine Kameraobjektiv.

Mehr: Was ist eine Time-of-Flight-Kamera und wie funktioniert sie?

Wenn Ihnen das ein wenig bekannt vorkommt, liegt das daran, dass Google in seinen Pixel-Handys seit einigen Jahren mit "nur" Software etwas sehr Ähnliches macht. Wie es funktioniert ist wirklich sehr, sehr cool.

Maschinelles Lernen ist ein weit gefasster Begriff, der eine ganze Reihe von Dingen abdecken kann. Wenn Sie Tiefendaten von einem einzelnen Objektiv abrufen möchten, verwenden Sie ein neuronales Netzwerk, um Daten zu sammeln, damit Sie wissen, wie die Dinge - im Fall des iPhone SE vorerst nur Menschen - aussehen sollten. Sie füttern einen großen Computer mit Tausenden und Abertausenden von Fotos von Menschen und es beginnt, Muster zu finden. Dinge wie, wie Augen im Allgemeinen geformt sind oder wie Haare keinen perfekt glatten Umriss haben.

Dieser Computer verarbeitet alle Daten und hat nun "gelernt", was eine Person ist, und kann eine Person von ihrem Hintergrund trennen. Der Teil der Software, der dies kann, benötigt etwas Platz zum Leben, aber was noch wichtiger ist, er benötigt Rechenleistung, um seine Routine zu durchlaufen, wann immer Sie ihn dazu auffordern.

Maschinen können nicht lernen, aber sie können Muster erkennen, wenn genügend Daten eingespeist werden.

Hier kommt der dedizierte Prozessor für maschinelles Lernen im A13 Bionic ins Spiel. Ähnlich wie die speziellen Kamera-Engines des Pixels - der Pixel Visual Core und der neuere Google Neural Core - Ein dedizierter Chip zur Verarbeitung von Funktionen für maschinelles Lernen ist vorhanden und bereit. Wenn Sie die Kamera des iPhone SE anweisen, ein Porträtfoto aufzunehmen, wird der neuronale Prozessor aktiviert und findet das Person im Kameraobjektiv und füttert den Prozessor mit Daten, die das, was die Kamera sieht, in eine verwandeln Foto.

Der Rest ist ziemlich einfach. Teile des Fotos, die keine Person sind, werden leicht unscharf und Teile, die eine Person sind, werden leicht geschärft. Es ist nicht perfekt und jedes Telefon mit zwei Objektiven könnte mehr Daten in die neuronale Engine einspeisen und ein viel besseres Foto erstellen, aber meistens sieht das Porträtfoto wirklich gut aus.

Nur Leute für jetzt

Quelle: iMore

Kurze Antwort - denn das ist alles, was Apple dem Chip gerade "beigebracht" hat. Der Umriss einer Person wird als Tiefenkarte erstellt, die sehr detailliert ist und eine sehr gut definierte Kante aufweist. Apple hätte beschließen können, die neuronale Engine über Kakteen, Flaschen oder Hunde zu unterrichten, aber die Menschen sind das, wovon wir die meisten Fotos machen. Hier fangen die Dinge an.

Einem neuronalen Netzwerk "beizubringen", wie eine Person aussieht, ist besser als ihm beizubringen, wie ein Goldfisch aussieht, wenn Fotografie das Endziel ist.

Apple hat aber auch die Tiefenkarte (sowohl Hintergrunddaten als auch "Personen" -Daten) als API für Entwickler verfügbar gemacht. Das bedeutet, dass Kamera-Apps von Drittanbietern den Porträtmodus genau wie die Pixel-Kamera verwenden können. Wählen Sie einfach einen Brennpunkt und machen Sie ein Foto. Die Kamera versucht am besten, Tiefeninformationen zu erhalten, die auf den Umrissen der sichtbaren Objekte basieren.

Es wird in einigen Dingen gut und in anderen nicht so gut sein, weil es keinen gelernten Algorithmus gibt, wie er für Menschen verwendet wird. Aber es sollte immer noch genug sein, um ordentliche Porträteffekte von anderen Dingen aufzunehmen und sie gut aussehen zu lassen. Wir haben gesehen, wie die Pixel-Telefone mit jeder Iteration besser und besser wurden, damit wir wissen, dass dies möglich ist.

Apple wird wahrscheinlich kein anderes Telefon mit einem einzigen Kameraobjektiv herausbringen und Google auch nicht. Aber geben Sie Apples Algorithmen ein paar Jahre und das iPhone SE könnte Porträtfotos so gut oder besser aufnehmen als jedes Pixel-Telefon mit einer Kamera jemals. Und wie das Pixel kann es das Gelernte in Kombination mit der doppelten Datenmenge der doppelten Kameraobjektive verwenden und dieser Pixelkamera einen ernsthaften Lauf um ihr Geld geben.

Was kommt als nächstes für Apple und Google?

Quelle: Rene Ritchie / iMore

Immer mehr der gleichen Software-Innovationen, das ist was.

Das Pixel 4 und iPhone 11 Pro zeigen uns, was jedes Unternehmen tun kann, wenn es diese superkomplizierten Algorithmen verwendet Tandem mit einer Kamera mit mehreren Objektiven, und es ist eine enorme Verbesserung im Vergleich zu dem, was jedes Unternehmen in der Vergangenheit. Wenn Sie doppelt so viele Daten haben, mit denen Sie arbeiten können, und die Erfassung der Daten perfektioniert haben richtig Daten können Sie wirklich großartige Arbeit leisten, wenn es um den Bau einer Kamera geht.

Das heißt aber nicht, dass beide Unternehmen aufhören werden, sich um eine Kamera mit einem Objektiv zu kümmern. Wir kennen das Pixel 4a kommt und es wird nur eine Kamera auf der Rückseite haben, und wenn das gemunkelte iPhone SE + 2020 tatsächlich passiert, erwarten Sie, dass es sich um eine iPhone 8+ -Wiederholung mit nur einem Objektiv handelt. Ganz zu schweigen von den Millionen und Abermillionen von Selfies, die jeden Tag mit einem Ein-Objektiv-Kamerasystem aufgenommen werden.

Softwareentwickler und Bildverarbeitungsspezialisten beider Unternehmen werden versuchen, aus den beiden "Doppeldaten" alles zu lernen, was sie können Objektive können sammeln und sehen, wie sie in die Algorithmen eingearbeitet werden können, die die iPhone SE- und Pixel 4a-Kameras (vermutlich) so machen verdammt gut. Und sie werden mit all diesen Daten neue Dinge über das Sammeln von Licht herausfinden.

Jedes Betriebssystem-Update verbessert die Kameras und verbessert auch die nach vorne gerichteten Kameras. Erwarten Sie keine wirklichen Wunder, aber die Ergebnisse in drei Jahren sollten ziemlich gut sein!