Kodėl “iPhone 13 Pro” LiDAR skeneris gali būti slaptas fotografijos ginklas

Praėjusiais metais išmanieji telefonai galbūt sunaikino DSLR ir išstūmė “Olympus” iš fotoaparatų verslo, tačiau jų fotografijos naujovės nelėtėja – tikimasi, kad “iPhone 13 Pro” turės naujos kartos LiDAR skenerį, kuris gali perkelti fotoaparatą į naujas įdomias vietas.

Iki šiol LiDAR (arba “šviesos aptikimo ir diapazono nustatymo”) poveikis “iPhone” nuotraukų ir vaizdo įrašymo galimybėms buvo palyginti nedidelis. Debiutavusi “iPad Pro 2020”, gylio jutiklio technologija atsirado “iPhone 12 Pro” ir pasitelkė naują triuką “Naktinis portreto režimas”, skirtą silpno apšvietimo bokeh efektui.

Viskas labai gražu, bet nepakankamai. Tačiau naujausi nutekėjimai ir gandai rodo, kad “iPhone 13 Pro” gali turėti antros kartos LiDAR skenerį. O jo derinys su mašininio mokymosi pasiekimais gali būti didelė naujiena mobiliajai fotografijai ir vaizdo įrašams.

Kalbame ne tik apie patobulintą automatinį fokusavimą ir papildytosios realybės (AR) žaidimus, bet ir apie tai, kad gali atsirasti patogios 3D fotografijos ir vaizdo portreto režimai, o LiDAR tam pasitarnaus.

Norėdami suprasti, ką tai gali reikšti fotografijai, pasikalbėjome su 3D fotografavimo novatoriais iš “Sketchfab” ir “Polycam”, kad sužinotume, kodėl jie džiaugiasi naujos kartos LiDAR “iPhone”. Taip pat apžvelgsime naujausius nutekinimus ir patentus, kurie rodo, kad “iPhone 13 Pro” pagaliau gali būti įdiegtas LiDAR paremtas “portreto režimas” vaizdo įrašams.

Tas kuklus taškelis “iPhone 13 Pro” kameros apačioje netrukus gali būti laikomas tokiu pat svarbiu kaip ir virš jo esantys lęšiai…

Gandai

Naujausi “iPhone 13 Pro” nutekėjimai rodo, kad tradicinės fotografijos atveju jo atnaujinimai gali būti palyginti nedideli. Atrodo, kad bus šviesesnis itin platus objektyvas (nuo dabartinio f/2,4 padidintas iki f/1,8) su automatiniu fokusavimu, taip pat šiek tiek platesnė f/1,5 diafragma “iPhone Pro Max”.

Tačiau kelios paskutinės “iPhone” kartos parodė, kad tipinės kameros įrangos privalumai (didesni jutikliai, ryškesni objektyvai) mažėja, kai kalbama apie realią naudą.

Didesni šuoliai pasiekiami naudojant mašininį mokymąsi ir naują techninę įrangą, pavyzdžiui, LiDAR skenerį. Būtent pastaroji kartu su “Apple” siliciu ir kitomis “iPhone” kameromis žada įdomų šuolį fotografijos ir vaizdo įrašų srityje – net jau nuo “iPhone 13 Pro”.

Remiantis patikimais nutekėjusiais duomenimis, “iPhone 13 Pro” portreto režimo nuotraukos bus “labai patobulintos”, nes bus naudojamas procesas, kurio metu bus derinami objektyvo ir LiDAR skenerio duomenys. Tai gera žinia – per pastaruosius kelerius metus “iPhone” portreto režimas pagerino kraštų aptikimą ir fokusavimo kritimą, o dar vienas žingsnis į priekį būtų populiarus atnaujinimas.

Tačiau visa tai yra patobulinimai, o ne revoliucijos. O kaip dėl visiškai naujų fotografijos ir vaizdo galių, kurias suteikia tas “naujos kartos” LiDAR skeneris, kurį Taivano technologijų svetainė “DigiTimes” prognozavo “iPhone 13 Pro”? Jų yra keletas, pradedant 3D fotografija…

Naujas matmuo

Jei nesate susidūrę su 3D fiksavimu, gali atrodyti, kad tai yra neįdomus dalykas. Juk 3D televizorius pasirodė esąs vienas didžiausių technikos nesėkmių, o prieš dešimtmetį kilusi stereofotografinių fotoaparatų banga (pvz., “Fujifilm FinePix Real 3D W1”) buvo panaši mada.

Tačiau daugelis ekspertų mano, kad 3D fotografavimas yra toks pat neišvengiamas, kaip ir skaitmeninė fotografija 2000 m. Vis daugiau “iPhone 12 Pro” savininkų naudojasi telefono LiDAR skeneriais ir pasiekia įdomių rezultatų.

Viena geriausių vietų, kur galima pamatyti vis didėjančią “iPhone” sukurtų 3D skenerių įvairovę (ir kokybę), yra “Sketchfab”. Internetinėje parduotuvėje, kurioje galima peržiūrėti, pirkti ir parduoti realaus pasaulio vietų ir objektų 3D skenuotus vaizdus, jos galerijose galima rasti kūrybingų šios besiformuojančios fotografijos formos pavyzdžių.

Geras pavyzdys – šių metų pradžioje “Sketchfab” surengtas konkursas “Gatvės menas”. Jame “iPhone 12 Pro” ir “iPad Pro” savininkai buvo kviečiami nuskenuoti vietinius freskų, grafičių ir skulptūrų pavyzdžius, naudodami savo LiDAR jutiklį. Rezultatai įspūdingi. Ši įtraukianti 3D nuotraukų kolekcija meniniu požiūriu nėra nei geresnė, nei blogesnė už 2D gatvės nuotraukas – ji tiesiog kitokia. Ir tai neabejotinai naujas galingas būdas užfiksuoti laiko akimirkas.

Day 158: Looking glass by alban on Sketchfab

3D skenavimas nėra naujiena. Specialistai jau seniai naudoja fotogrametrijos metodą, kai naudojant programinę įrangą iš šimtų (o kartais tūkstančių) persidengiančių nuotraukų sukuriami išsamūs 3D modeliai. Tačiau tam reikia daug laiko ir duomenų apdorojimo galios.

LiDAR skeneriai, pavyzdžiui, esantys “iPhone 12 Pro” ir būsimame “iPhone 13 Pro”, yra šios naujos fotografavimo formos demokratizatoriai. Jie naudoja greitus šviesos impulsus gylio žemėlapiams sudaryti, kurie tekstūruojami programinės įrangos algoritmais. Kalbant apie raišką ir detalumą, fotogrametrija yra kur kas geresnė, tačiau iPhone 3D skenavimas pasižymi neregėtu greičiu.

“Tai daug greitesnis būdas nei tradiciniai metodai, pavyzdžiui, fotogrametrija”, – pasakoja vienas iš “Sketchfab” įkūrėjų ir generalinis direktorius Albanas Denoyelis. “Yra daugybė dalykų, kuriuos skenuoju savo “iPhone LiDAR” ir kurių nesivarginčiau skenuoti naudodamas fotogrametriją, nes neturiu laiko”, – priduria jis. Tarsi norėdamas tai įrodyti, Albanas Denoyelis vykdo “vieno skenavimo per dieną” iššūkį, kuris yra plačiai paplitusio fotografijos projekto “portretas per dieną” 3D atitikmuo.

Pasak populiarios programos “Polycam” įkūrėjo Chriso Heinricho, dabartinis “iPhone” LiDAR skeneris gali tapti didžiuoju 3D fotografavimo sprogimu. “Esama rimtų paralelių su fotografijos istorija, kai masinį paplitimą paskatino paprastas naudojimas”, – sako jis.

“Ankstesnius 3D skenavimo būdus pagal naudojimo paprastumą galima palyginti su dagerotipiniu fotoaparatu”, turint omenyje XIX a. vidurio pradininką, kurį neseniai minėjome Pasaulinės fotografijos dienos proga. “Sakyčiau, kad dabartinės kartos mobilusis LiDAR skeneris prilygsta XX a. vidurio rankiniam fotoaparatui”, – priduria jis. Tai maždaug šimtmečio technologinis šuolis.

Atminties triukai

Technologija tikrai įspūdinga, bet ką iš tikrųjų galite daryti su “iPhone 12 Pro” LiDAR skeneriu ir kur “iPhone 13 Pro” gali jį panaudoti toliau?

Yra daugybė nefotografinių mobiliojo 3D skenavimo naudojimo atvejų. Kai iPhone LiDAR jutiklio skiriamoji geba pagerės, bus galima skenuoti savo kūną, kad būtų galima pritaikyti akinius, ortopedinius įtvarus ar papuošalus. Žaidimai ir filmai taip pat sulauks skaitmeninių rekvizitų skaičiaus augimo.

Tačiau LiDAR, kaip naujos fotografijos formos, potencialas atsiskleidžia būtent dėl galimybės fiksuoti asmeniškesnius objektus trimatėje erdvėje. Prieš persikraustydamas vienas vyras užfiksavo per dešimtmetį savo paties statytą namą, kad jo vaikai, kai bus vyresni, galėtų mėgautis virtualia ekskursija. Kiti nuskenavo savo vaikystės miegamuosius. Albanas Denoyelas “iPhone 12 Pro” su 3D skenerio programėle per mažiau nei 30 sekundžių nufotografavo toliau pateiktą prisiminimą iš savo dukters gimtadienio vakarėlio.

Happy birthday Olivia by alban on Sketchfab

Tokiu greičiu būtų galima užfiksuoti atostogų vietas, kad jas būtų galima išsaugoti ir vėl aplankyti trimačiu formatu. Kai kas 3D skenavimą netgi gali vertinti kaip naują pirminio fiksavimo formą – tai ateities būdas užfiksuoti prisiminimus beprecedenčiu detalumu, net jei dar neturime technologijų, kad galėtume visiškai išnaudoti visus šiuos duomenis.

Didesniu mastu, kur šiuo metu patogiau naudotis “iPhone” LiDAR skeneriu, taip pat yra įdomių galimybių. “Mane labai sužavėjo Emmanuelio [de Maistre’o] Paryžiaus katakombų 3D dokumentacija”, – sako Albanas Denoyelis apie “iPhone” įgalintus juodų Paryžiaus tunelių skenavimus, apie kuriuos galite paskaityti “Sketchfab”.

“Mane taip pat žavi tūrinių atsiminimų koncepcija, nesvarbu, ar tai būtų gyvenimo įvykių, tokių kaip gimtadienis, ar pirmieji dukters žingsniai, fiksavimas”, – priduria jis. “Šie pavyzdžiai perteikia tai, ko neįmanoma perteikti įprasta fotografija, ir parodo 3D kaip medijos galią”.

Piliečiai žurnalistai galiausiai taip pat galėtų tai laikyti nauju galingu ginklu. Praėjusiais metais skaitmeninė menininkė Julieta Gil pelnė “Lumen” premiją už Meksiko miesto “Nepriklausomybės angelo” paminklo, kurį moterys, protestuodamos prieš sisteminį smurtą, ištepliojo grafičiais, 3D skenavimą (naudojant fotogrametriją). Netrukus po protesto vyriausybė užkalė paminklą lentomis ir ėmėsi jo restauravimo darbų, todėl skenavimas tapo svarbia skaitmenine laiko kapsule, kurią galėtų “aplankyti” ateities kartos.

Laimingas skaičius 13

Kai kurie iš šių LiDAR naudojimo atvejų dar tolimi, tačiau ką realiai “iPhone 13 Pro” galėtų pasiūlyti 3D vakarėliui? Jis turi padaryti tris didelius patobulinimus.

“Didžiausias šio pirmosios kartos LiDAR jutiklio trūkumas – maža raiška, todėl detalūs objektai neatrodo tokie ryškūs kaip realiame gyvenime, – sako Chrisas Heinrichas iš “Polycam”. “Tikiuosi, kad per kelias ateinančias prietaisų kartas LiDAR raiška gerokai pagerės. Antrasis trūkumas – jutiklio veikimo spindulys, kuris neviršija maždaug penkių metrų, todėl kol kas neįmanoma užfiksuoti aukštų ar toli esančių objektų”, – priduria jis.

“Sketchfab” atstovas Albanas Denoyelis sutinka dėl “iPhone 12 Pro” veikimo nuotolio ir skiriamosios gebos apribojimų. “Taip pat gana sunku gauti gerų rezultatų fotografuojant ką nors mažo, ką reikia apsukti, pavyzdžiui, stulpą ar batą”, – sako jis. “Taip pat norėčiau ilgesnio akumuliatoriaus veikimo laiko – atliekant kelis skenavimus per dieną, pilno įkrovimo neužtenka visai dienai”, – priduria jis.

Tikėkimės, kad tas didesnis “iPhone 13 Pro” LiDAR jutiklis, kuris buvo pastebėtas nutekintuose imitaciniuose įrenginiuose, padės padaryti tam tikrą pažangą šiose srityse. Jei taip, jis dar labiau aplenktų “Android” telefonus, kai kalbama apie gylio jutiklio galią.

Taigi kodėl “Android” telefonai atsilieka po to, kai “Google” pirmieji pradėjo naudoti šią technologiją, įgyvendindami dabar jau nutrauktą projektą “Tango”? “Didžiausias dalykas, kurio reikia “Android”, yra panašus jutiklis, kurį turi daugelis flagmanų, – sako Chrisas Heinrichas. “Metams bėgant įvairūs “Android” OEM gamintojai žaidė su mobiliaisiais gylio jutikliais, tačiau jie niekada nebuvo tiek flagmanuose, kad iš tikrųjų pritrauktų kūrėjus kurti jiems puikias 3D fiksavimo programas”, – priduria jis.

“Kita kliūtis yra “Android” kompiuterių lustų greitis”, – sako Chrisas Heinrichas. “Lidar” skenuojamų duomenų apdorojimas įrenginyje reikalauja daug skaičiavimo išteklių, o “Apple” šiuo metu turi sparčiausius mobiliuosius lustus pasaulyje. Lėtesni lustai reiškia ilgesnį apdorojimo laiką ir prastesnę naudotojo patirtį. Vis dėlto manau, kad iki 2022 m. pradėsime matyti panašaus funkcionalumo “Android” įrenginius”, – priduria jis.

Tiesiog pridėkite AR akinius

Žinoma, yra ir kitų kliūčių, trukdančių plačiai pritaikyti 3D fiksavimą, kurios nėra susijusios su “iPhone 13 Pro”.

3D fotografavimo programos padarė didelį šuolį greičio ir patogumo srityje, tačiau dar reikia nueiti ilgą kelią. Padės ir platesnis palaikymas socialinėse platformose. “Galiausiai 3D fiksavimas taps daug aktualesnis, kai bus galima lengvai dalytis ir vartoti jas erdviniu būdu, pavyzdžiui, su AR akiniais”, – priduria Albanas Denoyelis.

Day 35: frozen mini by alban on Sketchfab

“Polycam” atstovas Chrisas Heinrichas su tuo sutinka, tačiau nemano, kad “Apple” akiniai yra būtini norint padidinti jų populiarumą. “Jei pasieksime tašką, kai ant galvos montuojami 3D ekranai, tokie kaip AR akiniai, taps masiniai, tuomet akivaizdu, kad tai labai pagreitins 3D nuotraukų paklausą, nes 2D nuotraukos AR ar VR atrodo labai plokščios. Tačiau nemanau, kad tai būtina sąlyga”, – sako jis.

“Žmonės mėgsta fotografuoti ir filmuoti, o 3D fiksavimas yra dar viena tikrovės fiksavimo forma, kuri turi savitų stipriųjų ir silpnųjų medijos pusių”, – priduria jis. “Tikiu, kad laikui bėgant ji atsidurs greta nuotraukų ir vaizdo įrašų kaip pagrindinė mus supančio pasaulio fiksavimo priemonė”, – prognozuoja jis.

Vlogo žvaigždė

Todėl “iPhone 13 Pro” gali būti tiesioginis “LiDAR” pagrįstas triukas – tai, kaip kalbama, “portreto režimas”, skirtas vaizdo įrašams.

Kaip ir 3D nuskaitymas, tai dar viena funkcija, kurią anksčiau matėme “Android” telefonuose. Dar 2019 m. “Samsung Galaxy S10” pristatė naują “Live focus” režimą vaizdo įrašams, tačiau tai buvo gana grubus filtras, o ne kas nors, kas pagrįsta tikra gylio informacija.

Pasak “Bloomberg”, patikimo “Apple” nutekėjimų šaltinio, Marko Gurmano iš “Bloomberg”, “iPhone 13” serijoje bus naujas vaizdo įrašams skirtas “Portreto režimas”, pavadintas “Kinematografiniu vaizdo įrašu”. Tačiau dar nėra aišku, kokia tiksliai bus jo forma. Jei tai tiesiog fotoaparatu paremta “Portreto režimo” versija, kuri “iOS 15” sistemoje buvo įdiegta į “FaceTime”, tuomet jis gali būti skirtas tik “iPhone” priekinei kamerai.

Tačiau jei “Apple” planuoja į “iPhone 13” aukštesnės kokybės galines kameras įdiegti tinkamą vaizdo įrašų “portreto režimą”, greičiausiai prireiks LiDAR jutiklio pagalbos. Panašų efektą jau galima sukurti tokiomis programomis kaip “Focos Live”, nors tai priklauso nuo skaičiavimo programinės įrangos gudrybių.

Didesnis šuolis, galintis sudaryti rimtą konkurenciją geriausioms vaizdo kameroms, pavyzdžiui, “Sony ZV-1”, būtų sistema, kuri sujungtų naujos kartos LiDAR skenerį ir jo erdvinių duomenų suspaudimą realiuoju laiku.

Įdomu tai, kad apie tokią sistemą užsiminta “Apple” patentuose, kaip nurodė “Apple Insider”. Liepos viduryje paskelbtuose trijuose patentuose kalbama apie LiDAR erdvinės informacijos suspaudimą vaizdo įraše naudojant kodavimo įrenginį, kuris galėtų leisti A15 lustui imituoti vaizdo bokeh pagal LiDAR gylio informaciją, tuo pat metu filmuojant aukštos kokybės vaizdo įrašus.

Patentai tikrai nėra tvirtas bet kokių funkcijų patvirtinimas, ir gali būti, kad toks vaizdo portreto režimas yra šiek tiek toliau nei “iPhone 13 Pro”. Tačiau tai yra kažkas, ko mes tikrai lauksime per tikėtiną “Apple” pristatymo renginį rugsėjo mėnesį.

Kamera obscura

Kiek tiksliai šio LiDAR potencialo bus panaudota “iPhone 13 Pro”, dar neaišku. Be abejo, “Apple” turi gerą galimybę dar labiau pasistūmėti į priekį gylio jutimo technologijų srityje, kol 2022 m. “Android” telefonai greičiausiai pasivys ją.

Kalbant apie fotografiją, patobulintas portretinių nuotraukų režimas atrodo labai svarbus, o naujos kartos LiDAR skeneris gali padėti priartinti 3D fotografavimą prie pagrindinių technologijų.

Naudojant tokias programėles kaip “Polycam” jau dabar galima nuskenuoti 3 000 kvadratinių pėdų ploto namą maždaug per dvi minutes. Tačiau dėl geresnės raiškos LiDAR galėtų būti naudingas mažesniems objektams ir prisiminimams fiksuoti. Dėl didesnio veikimo nuotolio taip pat būtų galima greitai užfiksuoti trimačius prisiminimus kelionių metu.

Tačiau bene svarbiausia LiDAR savybė yra jo potencialus gebėjimas palaikyti tinkamą vaizdo įrašų portreto režimą. Galbūt prieš tai pamatysime paprastesnį “FaceTime” naujojo vaizdo bokeh atitikmenį, pagrįstą kompiuteriniu apdorojimu. Tačiau mes tikrai lauksime šios funkcijos “Apple” renginyje rugsėjo mėnesį, kaip ir nervingų vaizdo kamerų, filmuojančių iš už sofos.