M5Stack AI-8850 za umetno inteligenco v formatu M.2

Podjetje M5Stack je predstavilo AI-8850 LLM Accelerator M.2 Kit, zmogljivo alternativo Raspberry Pi AI HAT-u. Zmogljivost 24 TOPS omogoča lokalno poganjanje velikih jezikovnih modelov (LLM) in napredno strojno učenje. Naprava uporablja čip Axera AX650N in je zasnovana za razvijalce, ki potrebujejo visoko računsko moč v kompaktnih sistemih.

Foto: M5Stack

Razvoj umetne inteligence na robu (Edge AI) dobiva nov zagon z izidom kompleta M5Stack AI-8850. Gre za modul v formatu M.2 2280, ki temelji na naprednem procesorju Axera AX650N. Ta čip prinaša impresivnih 24 TOPS (bilijonov operacij na sekundo) pri natančnosti INT8, kar ga postavlja daleč pred konkurenčne rešitve v tem velikostnem razredu. Za primerjavo, uradni modul Raspberry Pi AI nudi le okoli 13 TOPS, kar pomeni, da AI-8850 ponuja skoraj dvojno surovo moč za obdelavo podatkov.

Modul je posebej prilagojen za delo z velikimi jezikovnimi modeli (LLM) in difuzijskimi modeli. Podpira priljubljene knjižnice, kot so Transformerji, kar razvijalcem omogoča, da neposredno na napravi poganjajo modele, kot je Llama ali podobne arhitekture, brez potrebe po povezavi z oblakom. To zagotavlja večjo zasebnost podatkov in nižji zakasnitveni čas pri aplikacijah, kot so pametni asistenti, sistemi za prepoznavanje slik ali avtonomna robotika.

Fizično je naprava zasnovana kot standardna kartica M.2 z dolžino 8 cm in širino 2,2 cm. V kompletu M5Stack dobite tudi namensko ohišje s hladilnikom, saj visoka zmogljivost pri polni obremenitvi povzroča segrevanje. Povezava poteka prek vmesnika PCIe Gen 3.0 x2, kar zagotavlja zadostno pasovno širino za hiter prenos podatkov med procesorjem in pospeševalnikom. Poraba energije je optimizirana, vendar se priporoča uporaba stabilnega napajalnika, saj lahko konice porabe presežejo standardne omejitve nekaterih cenejših krmilnikov.

Programska oprema vključuje podporo za Linux in specifične SDK-je podjetja Axera, ki omogočajo pretvorbo modelov iz formatov ONNX, PyTorch ali TensorFlow. Čeprav je ekosistem nekoliko bolj specifičen kot pri Raspberry Pi, M5Stack nudi obsežno dokumentacijo in primere uporabe, kar olajša vstop novim razvijalcem. Cena kompleta se giblje okoli preračunanih 137,08 €, kar je konkurenčno glede na zmogljivost, ki jo modul nudi. AI-8850 predstavlja ključen korak k dostopnejši in zmogljivejši umetni inteligenci v vgrajenih sistemih.