Najmanjši AI superračunalnik na svetu

Ameriško zagonsko podjetje Tiiny AI je predstavil napravo, ki jo opisuje kot najmanjši AI superračunalnik na svetu. Žepni sistem, sposoben poganjati modele z 120 milijardami parametrov, kar je približno trikrat več od naprave GPT‑3. Naprava deluje popolnoma lokalno, brez povezave v internet ali oblačne strežnike, kar pomeni, da lahko izvaja naloge, ki so bile doslej rezervirane za podatkovne centre.

Tiiny AI je svoj novi izdelek poimenoval AI Pocket Lab. V notranjosti se skriva 12‑jedrni ARM procesor, ki je po zasnovi podoben tistim v telefonih in tablicah, a ga dopolnjuje kar 80 GB sistemskega pomnilnika LPDDR5X. Za primerjavo: večina prenosnikov danes ponuja med 8 in 32 GB sistemskega pomnilnika. Od tega pa je kar 48 GB rezerviranih izključno za NPU, specializiran pospeševalnik za AI izračune.

Naprava meri le 14,2 × 8 × 2,53 cm, zato jo je mogoče brez težav nositi v žepu. Kljub majhnosti doseže 190 milijard operacij na sekundo kombinirane zmogljivosti procesorja in enote za umetno inteligenco, kar ji omogoča izvajanje lokalne inferenčne obdelave velikih jezikovnih modelov, kot so GPT‑OSS 120B, večji modeli Phi ter člani družine Llama z visokim številom parametrov.

Tiiny AI je moral uporabiti več inovacij, da je tako zmogljivo strojno opremo spravil v tako majhno ohišje. Ključna je tehnologija TurboSparse, ki omogoča, da model pri generiranju uporablja le tiste parametre, ki so potrebni v posameznem koraku, namesto da bi aktiviral celotno mrežo. To močno zmanjša porabo energije in poveča hitrost.

Druga pomembna komponenta je PowerInfer, sistem, ki dinamično razporeja naloge med procesorem, grafično kartico in enote za umetno inteligenco. Vsak procesor prejme le tiste izračune, ki jih lahko opravi najučinkoviteje, kar dodatno zmanjša porabo energije in preprečuje nepotrebne operacije.

Žepni superračunalnik ima pomembne posledice za prihodnost AI. Lokalno izvajanje velikih modelov zmanjšuje odvisnost od energetsko potratnih podatkovnih centrov, hkrati pa izboljšuje zasebnost, saj podatki nikoli ne zapustijo naprave. To je posebej uporabno za delo na terenu, raziskovalne odprave, letala, ladje ali katerokoli okolje brez stabilne povezave.