Što je NPU čip?

Što je uopće NPU? Koja je njegova funkcija? Treba li nam stvarno? Mnogima je dovoljno znati koji se procesor i grafička kartica nalaze u računalu, tabletu ili telefonu. Čak ni mi koji testiramo ovakve uređaje do sada nismo obraćali previše pažnje na NPU čipove. Ali vremena se mijenjaju. NPU jest ili će postati jednako važan kao procesor (CPU) i grafička kartica (GPU).

Što je NPU?

NPU ili neuronska procesorska jedinica namjenski je procesor ili procesorska jedinica u većem sustavu na čipu (SoC) koji je namjenski izgrađen za ubrzavanje izvedbe neuronskih mreža i zadataka umjetne inteligencije. Za razliku od CPU-a i GPU-a opće namjene, NPU-ovi su optimizirani za paralelno računalstvo vođeno podacima, tako da su vrlo učinkoviti u obradi velikih multimedijskih podataka kao što su video zapisi i slike te obradi podataka za neuronske mreže. Osobito su vješti u zadacima povezanim s umjetnom inteligencijom kao što je prepoznavanje govora, zamućivanje pozadine u videopozivima i postupcima uređivanja fotografija ili videa kao što su otkrivanje objekata, brisanje, dodavanje elemenata itd.

NPU su integrirani krugovi, ali se značajno razlikuju od jednofunkcijskih ASIC-ova (Application-Specific Integrated Circuits). Dok su ASIC-ovi dizajnirani za jednu svrhu, kao što je rudarenje određene kriptovalute, NPU čipovi nude veću složenost i fleksibilnost, ispunjavajući različite zahtjeve mrežnog računalstva. To postižu specijaliziranim programiranjem u softveru ili hardveru koji je prilagođen jedinstvenim zahtjevima računanja neuronske mreže.

U većini potrošačkih proizvoda, NPU će zapravo biti ugrađen u glavni procesor, kao u seriji Intel Core i Core Ultra ili novim procesorima za prijenosna računala AMD Ryzen 8040. Međutim, u većim podatkovnim centrima ili specijaliziranijim industrijskim operacijama, NPU može biti potpuno odvojen procesor na matičnoj ploči, odvojen od svih ostalih procesorskih jedinica. Na telefonima su NPU čipovi obično integrirani u sistem na čipu, gdje također nalazimo procesor i grafičke jezgre.

Svaki proizvođač naziva svoje NPU čipove nešto drugačije. Apple ih naziva Neural Engine, Qualcomm je izabrao Hexagon, Google, primjerice, Tensor Processing Unit (TPU), a Huawei Da Vinci Architecture. Zanimljivo, Huawei je među prvima integrirao NPU u pametni telefon Mate 10.

Zašto telefoni i računala uopće trebaju NPU?

Kada je Samsung ranije ove godine predstavio svoj Galaxy AI koncept, to je možda bio prvi put da se govorilo o NPU čipu. Zašto? Ako ste uspjeli testirati njihove AI značajke, možda ste primijetili da neki rade lokalno, a neki zahtijevaju vezu s udaljenim poslužiteljem. Ako želimo da se funkcije izvode lokalno, tj. izravno na našem uređaju, trebamo NPU, pogotovo ako želimo da se zadaci izvode besprijekorno.

Velik dio današnje obrade umjetne inteligencije obavlja se u oblaku, ali to nije idealno iz više razloga. Prvi je latencija i mrežni zahtjevi. Možda nećete moći pristupiti alatima kada ste izvan mreže ili ćete možda morati čekati dugo vrijeme obrade tijekom najvećeg prometa. Slanje podataka putem interneta također je manje sigurno, što je vrlo bitan čimbenik kod korištenja umjetne inteligencije koja ima pristup vašim osobnim podacima, poput sada već zloglasnog Microsoftovog Recall-a.

Gdje je to moguće, bolji je lokalni rad. Međutim, funkcije umjetne inteligencije nisu lake, zahtijevaju prilično malo snage. Ako ste jedan od rijetkih koji je instalirao Stable Diffusion na svoje računalo na početku ludila za umjetnom inteligencijom, onda znate kakav vam je hardver potreban da biste dobili relativno solidne rezultate. Nitko ne želi predugo čekati, i dok CPU i grafička kartica mogu učiniti mnogo sami, od sada to jednostavno neće biti dovoljno.

Rješenje su NPU čipovi koji takve zadatke mogu značajno ubrzati. Njihova se izvedba često navodi u trilijunima operacija u sekundi (TOPS), ali to nije vrlo korisna metrika jer vam ne govori točno što svaka operacija radi. Umjesto toga, često je bolje potražiti podatke koji govore koliko brzo tokene za velike jezične modele treba obraditi, koliko energije koriste, koliko su točni, koliko podataka mogu čitati ili pisati, i tako dalje.

NPU i GPU. Koja je razlika?

Iako se mnoga radna opterećenja umjetne inteligencije i strojnog učenja izvode na GPU-u, postoji važna razlika između GPU-a i NPU-a.

Iako su GPU-i poznati po svojim mogućnostima paralelnog računanja, nisu svi GPU-i sasvim sposobni nositi se s hrpom drugih zadataka osim grafike, zahtijevajući posebne integrirane sklopove za učinkovito rukovanje radnim opterećenjima strojnog učenja. Najpopularniji Nvidijini GPU-ovi imaju te sklopove u obliku Tensor jezgri, ali AMD i Intel su ih također ugradili u svoje GPU-ove, uglavnom za rukovanje operacijama više razine, jednim od najčešćih AI zadataka.

S NPU čipovima, možemo jednostavno odvojiti te krugove od GPU-a, pustiti ga da obavlja svoj glavni zadatak svom snagom i integrirati zasebne sklopove u neovisnu namjensku jedinicu. To omogućuje učinkovitiju obradu zadataka vezanih uz umjetnu inteligenciju uz manju potrošnju energije, što je i razlog zašto postaju neizostavna komponenta u prijenosnim računalima i telefonima. Za one najzahtjevnije zadatke ipak će trebati barem pomoć grafičkog procesora.

NPU i CPU. Što radi jedan, što radi drugi?

NPU se razlikuje od središnje procesorske jedinice (CPU) po radnom opterećenju za koje je dizajniran. Tipičan procesor u računalu ili telefonu ima vrlo općenite zadatke i to mu odgovara jer podržava širok raspon naredbi, različite načine predmemoriranja i pozivanja funkcija.

Kao što smo već rekli, zadaci strojnog učenja i umjetne inteligencije razlikuju se i ne zahtijevaju toliko fleksibilnosti. Ne samo da su zahtjevniji, već često rade na neobičnim formatima, kao što su 16-, 8- ili 4-bitni brojevi. Iako procesori mogu obavljati osnovne zadatke strojnog učenja, to im nije primarni zadatak i puno su sporiji u tome.

Hoće li NPU u budućnosti potrebna komponenta?

Gotovo sigurno, osim ako ne fućkate na AI.

Na primjer, ako želite koristiti Microsoft Copilot Plus, trebat će vam NPU čip s minimalnim kapacitetom od 40 TOPS. Na primjer, moći ćete koristiti lokalne AI funkcije Recall, Cocreator i Live Captions.

Barem za sada, nema puno aplikacija koje zahtijevaju NPU čip kao dio svojih uvjeta korištenja. To će se vjerojatno promijeniti jer programeri žele integrirati više izvornih značajki, kao što su Adobe, DaVinci Resolve ili možda Teams i Zoom.

Također će biti potrebno obratiti pozornost na ovu komponentu u slučaju telefona. S vrhunskim telefonima možete biti sigurni da ćete imati pristup najboljem NPU čipu i svim AI značajkama koje proizvođač nudi. U nižim razredima, primjerice za 500 eura i manje, to se neće podrazumijevati. Ako se želite igrati s umjetnom inteligencijom, najvjerojatnije ćete morati tražiti u klasi od 1000 eura na više.

Trenutno vam se, međutim, ne žuri kupiti novo računalo ili telefon. Tek smo na početku i, barem za sada, niste puno propustili.