PlayStation 4 kot AI strežnik: Stara konzola lahko sedaj poganja model umetne inteligence

Foto: Sony, AMD
Foto: Sony, AMD

Projekt Garlic LLM prinaša presenetljivo možnost poganjanja umetne inteligence neposredno na priljubljeni igralni konzoli PlayStation 4. Ker naprava nikoli ni bila zasnovana za tovrstne naloge in nima uradne podpore za strojno učenje, so morali razvijalci ubrati precej nekonvencionalno pot. Rešitev temelji na posebej prilagojenih grafičnih jedrih in ročno napisanih ukazih, ki zaobidejo pomanjkanje ustreznih sistemskih gonilnikov. S tem so uspeli izkoristiti grafično arhitekturo konzole za naloge, ki jih običajno opravljajo precej zmogljivejši računalniki.

Ker ima konzola na voljo le 8 GB skupnega pomnilnika, projekt uporablja napredno stiskanje podatkov oziroma kvantizacijo. Tako so razvijalci velikost modela zmanjšali na približno 4,5 GB, kar omogoča njegovo izvajanje v okviru omejenih zmogljivosti konzole, hkrati pa ohranja podporo za obsežnejše podatkovne strukture. Takšen pristop je še posebej pomemben pri starejši strojni opremi, kjer je treba skrbno razporediti vsak megabajt razpoložljivega pomnilnika.

Za doseganje večje hitrosti obdelave uporabljajo tudi tehniko spekulativnega dekodiranja, ki omogoča hkratno predvidevanje in preverjanje več korakov generiranja besedila. S tem se lahko postopek ustvarjanja odgovorov občutno pospeši, ne da bi bilo treba uporabiti zmogljivejši procesor ali grafično kartico. Kljub zanimivemu dosežku pa se postavlja vprašanje, kako smiselno je takšne sisteme dolgoročno uporabljati na starejši strojni opremi.

Sodobni pametni telefoni in osebni računalniki so namreč za tovrstne naloge praviloma precej bolj praktični in učinkoviti. Projekt Garlic LLM zato predvsem dokazuje, da lahko tudi starejše naprave ob dovolj iznajdljivem programiranju dobijo povsem novo vlogo, čeprav to še ne pomeni, da lahko nadomestijo namensko strojno opremo za umetno inteligenco.


Vam je bila novica zanimiva?

Povejte prijateljem, da ste novico prebrali na Računalniških novicah.

Share
Prijavi napako v članku
Vas zanima več iz te teme?
PlayStation konzole umetna inteligenca


Kaj berejo drugi?

Partnerji Računalniških novic Prikaži vse

Srebrni partner

IPM Skupina, Holding d.o.o.

Dunajska cesta 106, 1000 Ljubljana,
Diamantni partner

ZAVOD DIGITALNO INOVACIJSKO STIČIŠČE (DIH SLOVENIJE)

Dimičeva ulica 13, 1000 Ljubljana, Tel: 040 606 710
DIH Slovenije omogoča digitalno transformacijo po principu vse-na-enem-mestu, v Sloveniji in širše. Osvešča in zagotavlja storitve za rast digitalnih kompetenc, izmenjavo digitalnih ... Več
Zlati partner

SI SPLET d.o.o.

Ukmarjeva ulica 4, 1000 Ljubljana, Tel: 01 428 94 66
O podjetju Si splet V podjetju Si splet d. o. o. od leta 2001 tržimo varnostne rešitve na področju informacijskih tehnologij. V letu 2003 smo pridobili ekskluzivno partnerstvo ... Več

tinaLILIPUT – grafično oblikovanje

Mariborska cesta 82, 2312 Orehova vas, Tel: 031 343 481
Grafično oblikovanje je pomembno orodje, ki izboljša komunikacijo z drugimi. Služi za posredovanje vaših idej na način, ki ni le učinkovit, ampak tudi eleganten. Preprosto povedano, ... Več