Kaip naujojo „iPhone SE“ portreto režimu bandoma perduoti „Google Pixel“

Šaltinis: Alex Dobie / „Android Central“

Tai ne paslaptis „Google“ telefonai „Pixel“ turėjote keletą geriausių fotoaparatų, kuriuos rasite bet kuriame telefone, nors dauguma jų turi tik vieną fotoaparato objektyvą. Jie pasikliauja programinės įrangos magija, kad fotoaparato matomą vaizdą paverstų puikia nuotrauka, o tokie efektai, kaip portreto režimas ar naktinis vaizdas, dar labiau išplečia šią programinę įrangą. Tai turi prasmę - juk „Google“ pirmiausia yra programinės įrangos įmonė.

„Apple“ gamina aparatinę įrangą ir ją parduoda žmonėms. „Google“ dažniausiai kuria algoritmus.

„Apple“ pirmiausia nėra programinės įrangos kompanija, bent jau ne tokia pati kaip „Google“. „Apple“ yra labiau panaši į „Samsung“ ir kuria produktus, kuriuos žmonės nori įsigyti, negalvodami apie programinę įrangą, esančią jų viduje. Bet kaip ir „Samsung“, „Apple“ fotoaparato žaidimas yra stiprus. Labai stipru. Nuotraukų pavyzdys iš „iPhone 11“ parodo, kokie geri gali būti „Apple“ fotoaparatai.

Ir tada mes turime naujas „iPhone SE“. Būkime atviri - taip „iPhone 8“ su geresniu lustų rinkiniu. Tai nėra blogai, tačiau tai reiškia, kad nuotraukoms fotografuoti yra tik viena kamera. Tad kodėl jie tokie geri, ypač portretai? Ir prieš jums tai sakant, jie yra geri. Bent jau žmonių portretai, kuriuos mes šiek tiek paaiškinsime. Mašininis mokymasis, todėl.

Ta nauja mikroschema

Šaltinis: „iMore“

„A13 Bionic“ procesorius „iPhone SE“ viduje yra tas pats procesorius, kurį rasite „iPhone 11“ serijoje. Tai naujausias „Apple“ ir jis tikrai tinka daugeliui dalykų - mašininis mokymasis yra vienas iš tų dalykų dėka atskiro nervinio variklio su savo mikroprocesoriumi.

Dėl šios aparatūros „Apple“ galėjo įtraukti tai, ką ji vadina “Vieno vaizdo monokulinio gylio įvertinimas"Tai yra labai sudėtingas būdas pasakyti, kad galima fotografuoti portretines nuotraukas naudojant tik tuos vaizdo duomenis, kuriuos gali užfiksuoti viena kamera. Tikrai taip. Nėra skrydžio jutiklio laiko ar LiDAR ar bet kuri kita gudrybė, kuri palengvintų gylio fiksavimą, tik vieno fotoaparato objektyvas.

Kas yra „Time-of-Flight“ kamera ir kaip ji veikia?

Jei tai skamba šiek tiek pažįstamai, tai yra todėl, kad „Google“ savo „Pixel“ telefonuose jau keletą metų daro kažką labai panašaus su „tiesiog“ programine įranga. Kaip tai veikia, tikrai labai šaunu.

Mašininis mokymasis yra platus terminas, apimantis daugelį dalykų. Gaunant gylio duomenis iš vieno objektyvo, duomenų rinkimui naudojamas neuroninis tinklas, kad jis žinotų, kokie dalykai - „iPhone SE“ atveju kol kas tik žmonės - turėtų atrodyti. Jūs tiekiate didelį kompiuterį tūkstančiais ir tūkstančiais žmonių nuotraukų ir jis pradeda rasti modelius. Dalykai, pavyzdžiui, kaip paprastai formuojamos akys arba kaip plaukai nėra visiškai lygūs.

Tas kompiuteris sugniaužia visus duomenis ir dabar „išmoko“, kas yra žmogus, ir gali atskirti žmogų nuo jo fono. Programinei įrangai, galinčiai tai padaryti, reikia šiek tiek vietos gyventi, tačiau dar svarbiau, kad jai reikia apdorojimo galios, kad ji galėtų veikti kasdien, kai tik to paprašote.

Mašinos negali mokytis, bet jos gali atpažinti modelius, jei jos tiekiamos pakankamai duomenų.

Štai kur veikia specialus „A13 Bionic“ mašininio mokymosi procesorius. Panašiai kaip specialūs „Pixel“ fotoaparatų varikliai - „Pixel Visual Core“ ir naujesni „Google Neural Core“ - specialus lustas, skirtas apdoroti mašininio mokymosi funkcijas, yra ir paruoštas. Kai liepiate „iPhone SE“ fotoaparatui fotografuoti portretą, neuroninis procesorius paleidžia ir suranda asmuo fotoaparato objektyve ir tiekia duomenis į procesorių, kuris paverčia tai, ką mato kamera fotografuoti.

Likusi dalis yra gana paprasta. Nuotraukos dalys, kurios nėra asmuo, šiek tiek suliejamos, o dalys - nežymiai. Tai nėra tobula, ir bet kuris telefonas su dviem objektyvais galėtų tiekti daugiau duomenų į nervinį variklį ir sukurti daug geresnę nuotrauką, tačiau dažniausiai portretinė nuotrauka atrodo tikrai gerai.

Kol kas tik žmonės

Šaltinis: „iMore“

Trumpas atsakymas - nes viskas, ką „Apple“ šiuo metu „išmokė“ mikroschemą apdoroti. Asmens kontūras yra sukurtas kaip giluminis žemėlapis, kuris yra labai išsamus ir turi labai gerai apibrėžtą kraštą. „Apple“ galėjo nuspręsti išmokyti nervinį variklį apie kaktusus, butelius ar šunis, tačiau žmonės yra tie, iš kurių mes daugiausiai fotografuojame, todėl viskas ir prasideda.

„Mokyti“ neuroninį tinklą, kaip žmogus atrodo, geriau nei mokyti, kaip atrodo auksinė žuvelė, jei fotografija yra galutinis tikslas.

Tačiau „Apple“ taip pat atskleidė gylio žemėlapį (tiek foninius, tiek „žmonių“ duomenis) kaip kūrėjų API. Tai reiškia, kad trečiųjų šalių fotoaparatų programos gali naudoti portreto režimą, kaip ir „Pixel“ kamera. Tiesiog išsirinkite židinį ir užfiksuokite nuotrauką, o fotoaparatas bandys geriausiai gauti gylio informaciją pagal tai, ką ji gali pamatyti.

Bus gerai kai kuriais atvejais ir ne taip gerai, nes nėra tokio išmokto algoritmo, koks naudojamas žmonėms. Bet jis vis tiek turėtų būti pakankamas, kad galėtų tinkamai fotografuoti kitų dalykų portreto efektus ir kad jie pasirodytų gerai. Mes matėme, kaip „Pixel“ telefonai su kiekvienu kartojimu tapo vis geresni, todėl žinome, kad tai įmanoma.

„Apple“ tikriausiai neketina išleisti kito telefono su vieno fotoaparato objektyvu, taip pat ir „Google“. Duokite „Apple“ algoritmus keleriems metams, o „iPhone SE“ galėtų fotografuoti portreto nuotraukas taip pat gerai ar geriau, nei kada nors padarė vienas „Pixel“ vienas fotoaparatas. Kaip ir „Pixel“, jis gali naudoti tai, ko išmoko, kartu su dvigubais dvigubų fotoaparatų objektyvų duomenimis ir suteikti šiai „Pixel“ kamerai rimtą naudą už savo pinigus.

Kas bus toliau „Apple“ ir „Google“?

Šaltinis: Rene Ritchie / „iMore“

Vis daugiau tų pačių programinės įrangos naujovių, būtent tai.

„Pixel 4“ ir „iPhone 11 Pro“ parodo, ką gali padaryti kiekviena įmonė, naudodama šiuos itin sudėtingus algoritmus tandemas su kelių objektyvų fotoaparatu, ir tai yra didžiulis patobulinimas, palyginti su tuo, ką kiekviena įmonė pasiūlė praeitis. Kai turėsite dvigubai daugiau duomenų, kad galėtumėte dirbti ir tobulintumėte, kaip juos surinkti teisingai duomenų, jūs galite padaryti tikrai puikų darbą, kai reikia kurti fotoaparatą.

Bet tai nereiškia, kad kuri nors įmonė nustos rūpintis vieno objektyvo fotoaparatu. Mes žinome „Pixel 4a“ ateina ir jo gale bus tik viena kamera, o jei gandai apie „iPhone SE + 2020“ iš tikrųjų įvyks, tikėkitės, kad tai bus „iPhone 8+“ atnaujinimas tik su vienu objektyvu. Jau nekalbant apie milijonus ir milijonus asmenukių, daromų kasdien su vieno objektyvo fotoaparato sistema.

Programinės įrangos inžinieriai ir mašinų regėjimo specialistai abiejose įmonėse bandys išmokti viską, ką gali, iš „dvigubų duomenų“ objektyvai gali surinkti ir pamatyti, kaip tai galima panaudoti algoritmuose, kurie daro „iPhone SE“ ir „Pixel 4a“ kameras (tikriausiai) tokias velniškai gerai. Jie sužinos naujų dalykų apie šviesos rinkimą su visais tais duomenimis.

Kiekvienas OS atnaujinimas pagerins kameras ir patobulins priekines kameras. Nesitikėkite tikrų stebuklų, tačiau rezultatai po trejų metų turėtų būti gana puikūs!