Die KI-Sensoren von Sony sind die Zukunft der Smartphone-Kameras

Quelle: Jerry Hildenbrand / Android Central

Früher diese Woche Sony kündigte an zwei neue IMX-Bildsensoren, die alles verändern werden, wenn es um "intelligente" Fotografie geht.

Das ist eine wirklich kühne Aussage, aber es ist auch eine einfache Vorhersage, da Smartphones und andere intelligente Produkte ihre Kameras verwenden. Sie erwarten von einer größeren "echten" Kamera mit einem teuren Objektiv großartige Fotos, da die verwendete Hardware dies einfacher macht. Wenn Sie jedoch einen winzigen Sensor in einem winzigen Gerät und einem festen Objektiv verwenden, haben Sie keine teure Optik, um das schwere Heben durchzuführen. Stattdessen werden Dinge wie KI verwendet, und das ist das Besondere an den neuen Sensoren von Sony: In das Sensorpaket ist ein kleiner KI-Prozessor integriert.

Diese Sensoren haben nichts mit einem Telefon oder Verbraucherprodukten zu tun. Sie wurden für Industrie- und Fertigungsgeräte für die Bildverarbeitung entwickelt und von Unternehmen wie Amazon Interesse bekundet, weil eine All-in-One-Lösung bedeutet, dass in die Produkt. Aber wie alle Dinge werden die Sensoren kleiner und billiger - im Moment kostet der IMX ungefähr 90 US-Dollar - und schließlich finden Sie sie in Heimüberwachungskameras, Körperkameras und sogar in Ihren Smartphone.

AI hat die Smartphone-Fotografie auf etwas Erstaunliches eingestellt.

KI ist eine große Sache, wenn es um unsere Smartphone-Kameras geht, aber niemand spricht jemals wirklich darüber, warum. Das ist in Ordnung, denn unsere Augen können uns sagen, dass KI-gesteuerte "Bilderfassungssysteme" unsere Bilder viel besser aussehen lassen als Telefonkameras von vor wenigen Jahren. Aber ein bisschen wissen, wie es immer gut ist.

Ein Kamerasensor ist nur ein Stück Elektronik, das die Farbe und Intensität des Lichts erfassen kann. Wenn Sie die Kamera-App öffnen, beginnt der Sensor mit der Erfassung dieser Daten. Wenn Sie auf den Auslöser tippen, werden diese erfasst und an eine andere Hardware gesendet, die die Daten in ein Foto verwandelt. Das bedeutet etwas, irgendwo muss programmiert werden, um die Konvertierung durchzuführen.

Quelle: Sony Electronics Inc.

Wenn AI in den Mix einfließt, müssen zusätzliche oder sogar nicht vorhandene Daten zum Konvertierungsprozess hinzugefügt oder konvertiert werden. KI kann helfen, den Umriss unserer Haare vor einem geschäftigen Hintergrund zu erkennen. Es kann die Entfernung von allem in einer Szene abschätzen, weil es "weiß", wie groß eine Sache ist. Es kann Daten aus mehreren Bildaufnahmen aufnehmen und kombinieren, um Fotos bei schlechten Lichtverhältnissen besser zu machen. Alle Digitalkameras verwenden KI, und Telefonkameras verwenden sie häufig.

Mit den neuen Sensoren von Sony wird die mittlere Schicht der intelligenten Elektronik umgangen, da im Bild ein Bildprozessor mit KI-Unterstützung integriert ist. Das könnte bedeuten, dass ein wirklich tolles Foto direkt auf ein Display geliefert werden kann, aber was noch wichtiger ist, es bedeutet, dass die Ausgabe überhaupt kein Foto sein muss.

Ein AI-betriebener Bildsensor bedeutet, dass die Ausgabe überhaupt kein Bild sein muss.

Sonys Beispiele, wie dieser Sensor verwendet werden kann, zeigen, dass ein Gegenstand und ein Amazon Go Das Geschäft kann von seinem Platz in einem Regal in die Hände eines Kunden verfolgt werden. Dabei wird die Anzahl der Personen, in denen ein Geschäft besucht wird, laufend gezählt Das Einkaufszentrum kann behalten werden, oder ein Hund vor dem Sensor kann einer anderen Software mitteilen, dass sich ein Hund vor dem befindet Sensor.

Es gibt unzählige Anwendungsfälle für diese Art von Ausrüstung in Herstellung und Versand und alle kommerzielle Anwendung, bei der die Daten dessen, was eine Kamera "sieht", genauso wichtig (oder wichtiger) sind als das Bild es sieht. Das Auto, das Sie fahren, der Stift, den Sie verwenden, sogar das Telefon, mit dem Sie die gesamte Bildverarbeitung verwenden, um Teile zu sortieren oder Fehler zu finden. Interessant wird für uns jedoch, wie dies in einem Telefon funktionieren würde.

Quelle: Sony Electronics Inc.

Wie bereits erwähnt, erledigt Ihr Telefon dies alles bereits. Apfel, Googleund Huawei haben spezielle Hardware, aber der Chip, der Ihr Telefon mit Strom versorgt, verfügt über einen ISP (Image Signal) Eingebauter Prozessor), der sich auch stark auf KI stützt, um genau das zu tun, was Sonys neue Kamerasensoren sind tun.

Samsung-Handys machen wirklich tolle "normale" Fotos. Tatsächlich mehr als gut genug für jeden. Wenn Sie jedoch mit dem Pixel-Peeping beginnen, stellen Sie fest, dass Apple-, Google- und Huawei-Telefone Fotos aufnehmen, die etwas besser sind. Sie können wahrere Farben haben, Kanten besser erkennen, wodurch Fotos schärfer werden, und selbst Aufnahmen im Nicht-Porträtmodus haben ein besseres Gefühl für Tiefe.

Mehr: Beste Android-Kamera im Jahr 2020

Quelle: Ara Waggoner / Android Central

Dies liegt daran, dass Samsung einen einzelnen ISP verwendet, wenn auch einen sehr gut, um ein Foto aus Sensordaten zu erstellen, während die anderen einen ISP in Verbindung mit einer dedizierten Hardware verwenden, die AI verwendet, um den Prozess weiter zu verfeinern. Die Bilder von Samsung sind ausgezeichnet und jeder, der behauptet, sie sehen schlecht aus, ist nicht echt. Stellen Sie sich vor, was Samsung mit einer zusätzlichen Ebene an KI und Datenerfassung zusätzlich zu der ISP-Optimierung tun könnte, die es gerade durchführt.

Gehen Sie jetzt noch einen Schritt weiter und stellen Sie sich vor, was für ein Unternehmen wie Motorola oder OnePlus - für das es nicht gerade bekannt ist Unglaubliche Kameras - können mit einer zusätzlichen Ebene der Bildverarbeitung lokal auf dem Gerät arbeiten, die keinen zusätzlichen Aufwand verursacht der Prozess.

Heutzutage interessieren sich große Unternehmen mit großen Gebäuden voller Geräte für die neuen Sensoren von Sony. In naher Zukunft werden Sie und ich es auch sein, denn diese Idee wird sich durchsetzen.