Vizionarske fotografije družine P40

Huawei je sistem na čipu (procesor) Kirin 990 5G predstavil lanskega septembra, ko je bilo navdušenje nad preobrazbo, ki bi jo lahko prinesla omrežja pete generacijo 5G, na vrhuncu. Poseben je že zato, ker je na njem 10,3 milijard tranzistorjev in je narejen 7nm-tehnologiji, a je hkrati tudi prvi z integriranim modemom za omrežja 5G. In to v času, ko je Qualcomm zagovarjal samostojni čip, ki je bil tudi v zmogljivostih in energijski učinkovitosti več kot očitno podrejen. Pomen Kirina 990 5G zato ni le v hitrosti delovanja, temveč prav tako tudi v večji zanesljivosti ne glede na primere rabe.

Običajne izboljšave, ki smo jim priča v vsakoletnih novih generacijah procesorjev za mobilne naprave, ne bi zadostovale za skok v kakovosti mobilne fotografije, če Kirin 990 5G ne bi imel izboljšane nevronske enote (NPU) in procesorja signalov (IPS). Pravzaprav je Huawei že leta 2017 v takratni procesor Kirin 970, kot prvi v industriji vgradi neodvisno nevronsko enoto za umetno inteligenco, katere delovanje se je prej opiralo na centralni in grafični procesor sistema na čipu. Nevronska enota ima v primerjavi z njima večjo računalniško moč, najnovejša v procesorju Kirin 990 5G pa je 8-krat zmogljivejša in 6-krat energijsko učinkovitejša kot podobne enote v drugih procesorjih.

Mobilni procesor Kirin 990 5G ima enako nevronsko enoto kot namenski procesor za sisteme umetne inteligence Ascend AI. Vgrajeni ima dve večji jedri Ascend Lite in dve manjši Ascend Tiny, ki uporabljata Huaweievo arhitekturo Da Vinci. Podobno kot centralni in grafični procesor je tudi nevronska enota zasnovana za sočasno zagotavljanje zmogljivosti in energijske učinkovitosti. V primeru prepoznave obraza lahko jedri Ascend Tiny izboljša energijsko učinkovitost za 24-krat, kot če bi to nalogo opravljali jedri Ascend Lite. Kot tak je Kirin 990 5G zasedel prvo mesto v zmogljivosti in energijski učinkovitosti v nevronskem omrežju modela ResNet50 s srednjo obremenitvijo in MobilenetV1 z majhno obremenitvijo. Zaradi izjemnih zmogljivosti na eni in energijski učinkovitosti na drugi strani omogoča primere rabe, ki so bili do zdaj nemogoči zaradi omejitve porabe energije ali premajhne računalniške moči.

S tolikšnimi zmogljivostmi umetne inteligence premijski pametni telefoni podpirajo zamenjavo ozadja v realnem času, na voljo pa sta tudi funkciji odstranitve neželenih ljudi ali predmetov in odsevov iz prizorov. Z napredno tehnologijo večstopenjske segmentacije s pomočjo umetne inteligence procesor Kirin 990 5G identificira in segmentira vsako osebo na videoposnetku in nato zamenja ozadje videa. Izbere lahko tudi ljudi, za katere želite, da ostanejo in vam na ta način ponudi več možnosti v video aplikacijah. Poleg tega pa z umetno inteligenco podprta tehnologija, ki jo omogočajo zmogljivosti procesorja Kirin 990 5G, izboljša posnetke starih napravah vse do kakovosti HD. Tudi zato se napravam družine P40 ni treba zanašati le na tipala z vse večjim številom pik, da bi dosegli višjo ločljivost, posredno pa tudi kakovost fotografij.

Zdrav razum veleva, da je kombinacija zmogljivosti umetne inteligence in algoritmov najprimernejša za večdimenzionalno optimizacijo v primeru portretne fotografije. 3D kamera za zaznavo globine v napravah družine Huawei P40 procesorju Kirin 990 5G nudi vse potrebne podatke, da prepozna meje med ozadjem in podrobnosti v ospredju, kot so lasje in oblačila, izboljša segmentacijo in ustvari globinsko polje primerljivo profesionalnim zrcalno refleksnim fotoaparatom (DSLR). To pa ni omejeno le na fotografije, saj lahko nevronska enota procesorja Kirin 990 5G zaznava globino in opravlja računalniške preračune tudi med snemanjem videoposnetkov.

Zapleteni nočni svetlobni viri pogosto predstavljajo oviro za fotografiranje popolnih portretov. Premijski pametni telefoni družine P40 pa po zaslugi računalniške moči procesorja Kirin 990 5G s podatki večfrekvenčnega tipala barvne temperature in uporabo z umetno inteligenco podkrepljenega algoritma samodejnega prilagajanja beline (AWB) zagotavljajo izvrstne in žive fotografije obrazov z natančnimi kožnimi toni. Za dosego dobrih vizualnih učinkov portretne fotografije optimalni svetlobni pogoji niso več nujni.

Pomen in sposobnosti nevronske enote pa daleč presegajo naše dojemanje. Naprave družine P40 lahko uporabijo zmogljivosti umetne inteligence procesorja Kirin 990 5G tudi za stabilizacijo slike. Tipičen primer je uporaba velikih povečav (SuperZoom), pri katerih je običajno težko doseči ostre fotografije brez uporabe stojala. Huawei pa z umetno inteligenco podprto stabilizacijo slike in izrabe sinergij med strojno in programsko opremo zagotavlja odlične učinke stabilizacije tudi pri 100-kratnem povečanju.

Novi signali procesor (IPS) omogoča nemogoče

Poleg proaktivne podpore funkcij umetne inteligence nevronske enote, procesor Kirin 990 5G odlikuje tudi povsem nov signalni procesor ISP 5.0 s ključno vlogo pri obdelavi in optimizaciji fotografij. Še posebej dobro pa se obnese pri zmanjševanju digitalnega šuma v videoposnetkih.

V slabših svetlobnih razmerah ali celo ponoči zmogljivosti signalnega procesorja (IPS) določajo vpliv šuma na kakovost videoposnetkov. Razdelimo ga lahko prostorski in časovni, pri čemer je prvi inherenten na vsakem video kadru, opazen na delu slike, časovni pa nastane med zaporednim predvajanju kadrov. Pristopi k zmanjševanju se večinoma osredotočajo na slednjega, procesor Kirin 990 5G pa je poseben tudi v tem primeru, saj uporablja časovno in prostorsko tehnologijo zmanjševanja šuma. Za primere, ki vključujejo mešanico visoko, srednjih in nizko-frekvenčnega šuma, je dodan postopek zmanjševanja v frekvenčni domeni, pri katerem je posebna pozornost namenjena natančnemu ločevanju. Rezultat pa je za do 20 % manj šuma v video posnetkih, kar je še posebej očitno v boljših kakovosti v primeru slabših svetlobnih razmer.

Za zmanjševanje digitalnega šuma na fotografijah ima procesor Kirin 990 5G lastno tehnologijo primerjanja blokov in 3D odseva (BM3D – Block Matching in 3D Reflective), ki je prvi primer vpeljave zmogljivosti obdelave slik zrcalno refleksnih fotoaparatov na pametne telefone. Sposobna je zmanjšati šum za 30 % na fotografijah v slabših svetlobnih razmerah in ustvariti boljše nočne prizore.

Zahvaljujoč edinstvenim zmožnostim signalnega procesorja ISP 5.0 je Kirin 990 5G prevzel vodilno vlogo pri podpori z umetno inteligenco podprte segmentacije obdelave fotografij v realnem času in upodabljanju videov. Ne samo, da tehnologija zmanjša digitalni šum, omogoča tudi barvno prilagajanje vsakega kadra v video posnetkih v barvni paleti filmske kakovosti.

Zmogljivosti signalnega procesorja ISP 5.0 v procesorju Kirin 990 5G podpirajo tudi funkcijo prepoznavo obrazov z dodano resničnostjo (Face AR). Sposobna je modeliranja obraza, slednje v realnem času, zajem izrazov s podatkov obrazne slike, ki jih zajemajo kamere in algoritem nevronske enote (NPU). Dodatno lahko analizira zdravstvene podatke, kot sta srčni utrip in hitrost dihanja, ki se skrivajo za obraznimi podatki in omogoča več možnosti za aplikacije dodane resničnosti.

Kanal za obdelavo slike procesorja Kirin 990 5G oblikuje celovit sistem z uporabo signalnega procesorja ISP 5.0 in nevronske enote (NPU) s Huaweievimi jedri arhitekture Da Vinci ter integracijo algoritmov zaznavanja in obdelave, algoritma CNN-DM (Convolutional Neural Network Demosaic algorithm) in povsem novega modula za upravljanje z barvami in svetilnostjo. Na ta način dosega najvišjo občutljivost ISO 409600, pri kateri pa tudi učinkovito zmanjšuje digitalni šum. Očitno je tudi, da izjemne zmogljivosti signalnega procesorja in nevronske enote procesorja Kirin 990 5G, poenostavijo uporabo razvojnih dosežkov podjetje Huawei iz preteklih let in uporabo računalniške moči in algoritmov umetne inteligence tudi pri obdelavi fotografij.

V premijskih pametnih telefonih družine Huawei P40 so omenjeni algoritmi poimenovani kot slikovni pogon XD Fusion. Če povzamemo, pogon predstavlja v prihodnost usmerjeno raziskovanje z umetno inteligenco podprte fotografije, ki temelji na procesorju Kirin 990 5G. Vključuje s strojno opremo podprto tehnologijo zmanjševanja šuma BM3D na ravni signalnega procesorja ISP 5.0, dvodomensko časovno in prostorsko tehnologijo zmanjševanja šum in nevronsko enoto odličnih zmogljivosti arhitekture De Vinci, kar deluje kot nadgradnja naprednih objektivov (sistemi leč) in popolnoma novega fotografskega tipala, za kakovostne mobilne fotografije brez primere.

Rezultat naložb v inovacije ter raziskave in razvoj

Huawei vztrajno raziskuje področja umetne inteligence in računalništva, čemur so podjetja v panogi manj naklonjena. Razloga pa sta zahtevane visoke naložbe in dejstvo, da rezultatov ni mogoče pričakovati v kratkem času. Razvoj funkcije »Golden Snap«, s katero se ponašajo premijski modeli pametnih telefonov družine Huawei P40, je pogoltnil veliko sredstev. Najprej so morali oblikovati in analizirali veliko število ključnih točk človeškega skeleta, nato pa ustvariti nabor podatkov o gibanju človeka, na katerih je steklo strojno učenje algoritmov umetne inteligence. Samo oblikovanje podatkovnega modela gibanja je Huawei letno stalo nekaj milijonov dolarjev. Trdo delo pa je na koncu izplačalo, saj je Huawei s procesorjem Kirin 990 5G dosegel absolutno vodilno vlogo v računalniški moči umetne inteligence in hkrati drastično izboljšal kakovost mobilne fotografije.

Fotografske in videografske zmogljivosti premijskih pametnih telefonov družine Huawei P40 pa bodo izpolnile zahteve storitev pretočnih vsebin v dobi omrežji pete generacije (5G). Na video vsebinah temelječa družbena omrežja naslednje generacije namreč zahtevajo visok kakovostne video funkcije, ki jih omenjene naprave lahko zagotovijo.