Cenovno dostopen AI pospeševalnik M5Stack LLM-8850

Oblačni AI modeli so priročni za večino uporabnikov, a nekateri primeri uporabe zahtevajo lokalno izvajanje operacij. To je bodisi zaradi varovanja podatkov bodisi zaradi slabega dostopa do interneta. Za poganjanje velikih jezikovnih modelov ali analizo videa, kot je štetje ljudi ob vhodu v stavbo, je potrebna določena zmogljivost.

Na trg je prišla razširitvena kartica M5Stack LLM-8850, ki pospešuje prav takšne AI naloge. Poganja jo procesor Axera AX8550 SoC s štirimi jedri Cortex-A55 in NPU zmogljivosti 24 TOPs. Za primerjavo: NPU-ji v sodobnih AMD in Intel procesorjih ponujajo približno dvakrat večjo zmogljivost. Vgrajen je tudi VPU, ki lahko hkrati dekodira do 16 Full HD video tokov.

Kartica ima 8 GB sistemskega pomnilnika, hladilno rebro in ventilator. Povezuje se prek M.2 Key M reže z dvema PCIe 2.0 linijama. Mere kartice so 4,27 × 2,39 × 0,97 cm. Združljiva je z Raspberry Pi 5, drugimi enoploščnimi računalniki in mini osebnih računalnikov ter različnimi AI ogrodji.

Uradna cena znaša približno preračunanih 93 evrov, dodatni stroški pošiljanja in uvoza pa niso izključeni. M5Stack LLM-8850 je zanimiva izbira za lokalno AI obdelavo. Tu je pomembna zasebnost in neodvisnost od oblaka.