PlayStation 4 kot AI strežnik: Stara konzola lahko sedaj poganja model umetne inteligence
Projekt Garlic LLM prinaša presenetljivo možnost poganjanja umetne inteligence neposredno na priljubljeni igralni konzoli PlayStation 4. Ker naprava nikoli ni bila zasnovana za tovrstne naloge in nima uradne podpore za strojno učenje, so morali razvijalci ubrati precej nekonvencionalno pot. Rešitev temelji na posebej prilagojenih grafičnih jedrih in ročno napisanih ukazih, ki zaobidejo pomanjkanje ustreznih sistemskih gonilnikov. S tem so uspeli izkoristiti grafično arhitekturo konzole za naloge, ki jih običajno opravljajo precej zmogljivejši računalniki.
Ker ima konzola na voljo le 8 GB skupnega pomnilnika, projekt uporablja napredno stiskanje podatkov oziroma kvantizacijo. Tako so razvijalci velikost modela zmanjšali na približno 4,5 GB, kar omogoča njegovo izvajanje v okviru omejenih zmogljivosti konzole, hkrati pa ohranja podporo za obsežnejše podatkovne strukture. Takšen pristop je še posebej pomemben pri starejši strojni opremi, kjer je treba skrbno razporediti vsak megabajt razpoložljivega pomnilnika.
Za doseganje večje hitrosti obdelave uporabljajo tudi tehniko spekulativnega dekodiranja, ki omogoča hkratno predvidevanje in preverjanje več korakov generiranja besedila. S tem se lahko postopek ustvarjanja odgovorov občutno pospeši, ne da bi bilo treba uporabiti zmogljivejši procesor ali grafično kartico. Kljub zanimivemu dosežku pa se postavlja vprašanje, kako smiselno je takšne sisteme dolgoročno uporabljati na starejši strojni opremi.
Sodobni pametni telefoni in osebni računalniki so namreč za tovrstne naloge praviloma precej bolj praktični in učinkoviti. Projekt Garlic LLM zato predvsem dokazuje, da lahko tudi starejše naprave ob dovolj iznajdljivem programiranju dobijo povsem novo vlogo, čeprav to še ne pomeni, da lahko nadomestijo namensko strojno opremo za umetno inteligenco.
Prijavi napako v članku





























