Najmanjši namizni računalnik za velike jezikovne modele

Ameriški startup Tiiny Lab je predstavil Pocket Lab, izjemno kompakten miniaturni namizni računalnik, zasnovan za lokalno izvajanje velikih jezikovnih modelov (LLM). Podjetje trdi, da naprava lahko obdeluje modele z do 120 milijardami parametrov. To je sicer precej drzna trditev glede na strojne omejitve.

Pocket Lab meri le 14,2 × 8 × 2,5 cm (5,6 × 3,15 × 1 palec) in tehta 300 g, zaradi česar je Guinnessova knjiga rekordov napravo razglasila za »najmanjši mini PC na svetu« v kategoriji 100B LLM Local.

Strojne specifikacije
– 12-jedrni ARMv9.2 procesor
– NPU s 160 TOPS + 30 TOPS AI zmogljivosti
– 80 GB LPDDR5X pomnilnika (48 GB rezerviranih za NPU)
– 1 TB SSD
– 65 W poraba energije
– Popolno delovanje brez povezave

Tiiny Lab obljublja enostavno namestitev odprtokodnih modelov, kot so Llama, Qwen, DeepSeek, Mistral, Phi in OpenAI GPT-OSS, ter redne OTA posodobitve.

Kljub impresivnim specifikacijam strokovnjaki opozarjajo, da bo za lokalno izvajanje 120B modelov potrebna močna kvantizacija, zato je dejanska zmogljivost še neznana. Cena ostaja skrivnost, a pričakovati je višji razred.

Za običajne uporabnike so bolj praktične alternative, kot je Minisforum AI X1 Pro (okoli preračunanih 1.000 evrov), ki ponuja uravnoteženo zmogljivost po nižji ceni.