Kaj je čip NPU?

Kaj pa sploh je NPU? Kaj je njegova funkcija? Ga res potrebujemo? Za mnoge je dovolj, da so seznanjeni, kateri procesor in grafična kartica se nahajata v računalniku, tablici ali telefonu. Tudi tisti, ki preizkušamo tovrstne naprave, doslej nismo bili pretirano pozorni na čipe NPU. Ampak časi se spreminjajo. NPU je ali pa še bo postal enako pomemben kot procesor (CPU) in grafična kartica (GPU).

Kaj je NPU?

NPU ali nevronska procesna enota je namenski procesor ali procesna enota v večjem sistemu na čipu (angl. SoC), ki je namensko zasnovana za pospeševanje delovanja nevronskih omrežij in nalog umetne inteligence. Za razliko od splošnih procesorjev in grafičnih procesorjev so NPU optimizirane za vzporedno računanje, ki temelji na podatkih, zato so zelo učinkovite pri obdelavi obsežnih večpredstavnostnih podatkov, kot so videoposnetki in slike, ter obdelavi podatkov za nevronske mreže. Posebej spretni so pri opravilih, povezanih z umetno inteligenco, kot so prepoznavanje govora, zamegljevanje ozadja pri video klicih in postopki urejanja fotografij ali videoposnetkov, kot je na primer zaznavanje predmetov, brisanje, dodajanje elementov in podobno.

NPU so integrirana vezja, vendar se pomembno razlikujejo od enofunkcijskih integriranih vezij ASIC (angl. Application-Specific Integrated Circuits). Medtem ko so ASIC zasnovani za en sam namen, na primer rudarjenje določene kriptovalute, NPU čipi ponujajo večjo kompleksnost in prilagodljivost ter zadovoljujejo različne zahteve omrežnega računalništva. To dosežejo s specializiranim programiranjem v programski ali strojni opremi, ki je prilagojeno edinstvenim zahtevam izračunov nevronskih omrežij.

Pri večini potrošniških izdelkov bo NPU dejansko vgrajen v glavni procesor, kot pri serijah Intel Core in Core Ultra ali novih procesorjih za prenosne računalnike AMD Ryzen 8040. V večjih podatkovnih centrih ali bolj specializiranih industrijskih dejavnostih pa je NPU lahko povsem ločen procesor na matični plošči, ločen od vseh drugih procesnih enot. Na telefonih so čipi NPU običajno integrirani na sistem na čipu, kjer najdemo še procesorska in grafična jedra.

Vsak proizvajalec nekoliko drugače poimenuje svoje čipe NPU. Apple jim pravi Neural Engine, Qualcomm se je odločil za Hexagon, Google na primer Tensor Processing Unit (TPU), Huawei pa Da Vinci Arhitecture. Kot zanimivost, Huawei je bil med prvimi, ki je NPU integriral v pametni telefon Mate 10.

Zakaj telefoni in računalniki sploh potrebujejo NPU?

Ko je Samsung letos predstavil svoj koncept umetne inteligence Galaxy AI, se je morda prvič več govorilo o čipu NPU. Zakaj? Če ste uspeli preizkusiti njihove funkcije umetne inteligence, ste lahko opazili, da nekatere delujejo lokalno, nekatere pa potrebujejo povezavo z oddaljenim strežnikom. Če želimo, da funkcije delujejo lokalno, torej neposredno na naši napravi, potrebujemo NPU, še posebej, če želimo, da se naloge izvajajo brezhibno.

Veliko današnje obdelave umetne inteligence se izvaja v oblaku, vendar iz več razlogov to ni idealno. Prvi so zakasnitve in omrežne zahteve. Do orodij ne morete dostopati, ko ste brez povezave, ali pa boste morda morali čakati na dolge čase obdelave med prometnimi konicami. Pošiljanje podatkov prek interneta je tudi manj varno, kar je zelo pomemben dejavnik pri uporabi umetne inteligence, ki ima dostop do vaših osebnih podatkov, kot je na primer zdaj že zloglasni Microsoftov Recall.

Kjer je to le mogoče, je lokalno delovanje boljše. Vendar funkcije umetne inteligence niso mačji kašelj, potrebujejo kar nekaj moči. Če ste eden izmed redkih, ki ste si na začetku AI norije na svojem računalniku namestili Stable Diffusion, potemvveste, kakšno strojno opremo potrebuješ za razmeroma solidne rezultate. Nihče noče čakati predolgo, in čeprav bi procesor in grafična kartica lahko marsikaj postorila sama, to odslej enostavno ne bo dovolj.

Rešitev so čipi NPU, ki lahko znatno pospešujejo tovrstne naloge. Njihova zmogljivost se pogosto navaja v bilijonih operacij na sekundo (TOPS), vendar to ni zelo uporabna metrika, saj ne pove natančno, kaj posamezna operacija počne. Namesto tega je pogosto bolje poiskati podatke, ki povedo, kako hitro je potrebno obdelati žetone za velike jezikovne modele, koliko energije porabi, kako natančen je, koliko podatkov lahko bere ali zapiše in podobno.

NPU in GPU. Kakšna je razlika?

Čeprav se številne delovne obremenitve umetne inteligence in strojnega učenja izvajajo na grafičnih procesorjih, obstaja pomembna razlika med grafičnim čipom in NPU-jem.

Čeprav so grafični procesorji znani po svojih zmožnostih vzporednega računanja, pa vsi grafični procesorji niso tako zelo sposobni v tem, da bi poleg grafike obdelovali še kup ostalih nalog, saj potrebujejo posebna integrirana vezja za učinkovito obdelavo delovnih obremenitev strojnega učenja. Najbolj priljubljeni grafični procesorji Nvidia imajo ta vezja v obliki jeder Tensor, vendar sta jih v svoje grafične procesorje vgradila tudi AMD in Intel, predvsem za obdelavo operacij za povečevanje ločljivosti (angl. upscale), ki je ena najpogostejših nalog umetne inteligence.

S čipi NPU lahko ta vezja preprosto ločimo od grafičnega procesorja, mu pustimo, da z vsemi močmi opravlja svojo glavno nalogo, ločena vezja pa integriramo v samostojno namensko enoto. To omogoča učinkovitejšo obdelavo nalog, povezanih z umetno inteligenco, z manjšo porabo energije, kar je tudi razlog, da postajajo nepogrešljiva komponenta v prenosnikih in telefonih. Za tiste najbolj zahtevne naloge pa bodo vseeno potrebovali vsaj pomoč grafičnega procesorja.

NPU in CPU. Kaj dela en, kaj dela drug?

NPU se od centralne procesne enote (CPU) razlikuje v delovni obremenitvi, za katero je namenjena. Tipičen procesor v računalniku ali telefonu ima zelo splošne naloge, kar mu tudi ustreza, saj podpira širok nabor ukazov, različne načine predpomnjenja in priklica funkcij.

Kot smo že rekli, so naloge strojnega učenja in umetne inteligence drugačne in ne potrebujejo tolikšne prilagodljivosti. Ne samo, da so bolj zahtevne, pogosto delujejo na nenavadnih oblikah, na primer s 16-, 8- ali 4-bitnimi števili. Čeprav procesorji lahko izvajajo osnovne naloge strojnega učenja, to ni njihova primarna naloga in so pri tem veliko počasnejši.

Ali bo NPU v prihodnosti obvezna komponenta?

Skoraj zagotovo, razen če se požvižgate nad umetno inteligenco.

Če boste na primer želeli uporabljati Microsoft Copilot Plus, boste potrebovali čip NPU z minimalno zmogljivostjo 40 TOPS. Tako boste lahko na primer uporabljali lokalne AI funkcije Recall, Cocreator in Live Captions.

Vsaj za zdaj ni veliko aplikacij, ki bi med pogoji uporabe zahtevale čip NPU. Po vsej verjetnosti pa se bo to spremenilo, ko bodo razvijalci želeli integrirati več lokalnih funkcij, na primer v programih Adobe, DaVinci Resolve ali pa morda Teams in Zoom.

Tudi pri telefonih bo potrebno biti pozoren na to komponento. Pri premijskih telefonih ste lahko prepričani, da boste imeli dostop do najboljšega čipa NPU in vseh AI funkcij, ki jih ponuja proizvajalec. V nižjih razredih, na primer za 500 evrov in manj, pa to ne bo samoumevno. Če se boste želeli igrati z umetno inteligenco, boste po vsej verjetnosti morali gledati v razredu od 1000 evrov navzgor.

V tem trenutku pa se vam ne mudi z nakupom novega računalnika ali telefona. Smo šele na začetku in vsaj za zdaj še niste veliko zamudili.