Lyra 2.0 iz ene fotografije ustvari 3D svet, ki ga lahko raziskujemo

Sistem Spatial Intelligence Lab deluje v dveh glavnih korakih, katerih cilj je pretvoriti običajno fotografijo v uporabno in prostorsko dosledno tridimenzionalno okolje. Najprej s pomočjo virtualne kamere, ki simulira premikanje skozi prostor, ustvari daljši videoposnetek z različnimi pogledi na predmete in njihovo okolico. V drugem koraku videoposnetek pretvori v eksplicitno tridimenzionalno predstavitev okolja, ki temelji na tako imenovanih Gaussovih točkah. Gre za metodo prikazovanja 3D-prostorov z množico prostorskih elementov, ki skupaj poustvarijo videz in globino okolice. Te je mogoče pretvoriti v poligonske mreže in uporabiti v orodjih za simulacijo, kot je NVIDIA Isaac Sim. Pomembna prednost Lyre 2.0 je tako ustvarjanje dejanske 3D-geometrije, ki jo je mogoče izvoziti in uporabiti tudi zunaj prvotnega sistema.

Tehnološko ozadje temelji na modelu s 14 milijardami parametrov, ki obdeluje vhodne fotografije ločljivosti 480 × 832 slikovnih točk skupaj s podatki o položaju in nastavitvah kamere. Ti umetni inteligenci pomagajo razumeti perspektivo, razdalje in prostorske odnose med predmeti. S posebnimi postopki za izboljšanje prostorske in časovne doslednosti sistem zmanjšuje napake med premikanjem po ustvarjenem okolju ter ohranja stabilnejšo podobo predmetov. S tem naslavlja eno večjih težav generiranja 3D-svetov iz posameznih fotografij, pri katerem se lahko predmeti med navideznim premikanjem spreminjajo, izginejo ali izgubijo prvotno obliko. Lyra 2.0 tako poskuša ohraniti prepoznavno in skladno okolje tudi pri raziskovanju delov prostora, ki na izvirni fotografiji niso bili vidni.

Trenutne zmogljivosti so omejene predvsem na statična okolja, zato sistem še ni primeren za zanesljivo poustvarjanje prizorov z veliko predmeti ki se gibajo ali spreminjajočimi se pogoji. Model se pri učenju zanaša na sintetične podatke, kar lahko vpliva na njegovo uspešnost pri obdelavi kompleksnih resničnih okolij. Poleg tega generiranje še ne poteka v realnem času, saj zahteva precej računske moči in zmogljive grafične pospeševalnike. Kljub omejitvam je Lyra 2.0 pomemben korak k tehnologiji, ki bi lahko olajšala ustvarjanje virtualnih okolij za razvoj robotike, avtonomnih sistemov, simulacij in drugih aplikacij prostorske umetne inteligence.