Zasebna umetna inteligenca v žepu brez interneta

Zanimiv projekt iz skupnosti razvijalcev prikazuje, kako lahko umetna inteligenca deluje popolnoma brez povezave z internetom. Razvijalec je namreč sestavil »offline« AI asistenta, ki temelji na napravi Raspberry Pi 5. Ta deluje izključno z lokalno obdelavo podatkov.

Glavni razlog za takšen pristop je zasebnost. Večina sodobnih AI storitev zahteva pošiljanje podatkov v oblak, kar za mnoge uporabnike predstavlja tveganje. Lokalna rešitev omogoča, da vsi podatki ostanejo na napravi, brez zunanjih strežnikov.

Sistem uporablja optimizirano različico jezikovnega modela, ki je dovolj lahka, da deluje na omejeni strojni opremi. Model lahko generira odgovore s hitrostjo približno 5 do 10 tako imenovanih »tokenov« na sekundo, pri čemer prvi odziv pride v manj kot osmih sekundah.

Pomemben del sistema je tudi glasovna interakcija. Zvok, zajet prek mikrofona, se lokalno pretvori v besedilo, nato pa AI pripravi odgovor, ki ga naprava predvaja prek zvočnika. Celoten proces pa kot že omenjeno poteka brez internetne povezave.

Projekt vključuje tudi osnovno vizualno inteligenco. S pomočjo kamere in modela za prepoznavanje objektov lahko naprava analizira okolico in prepozna predmete v vidnem polju.

Za uporabniški vmesnik je uporabljen majhen OLED zaslon velikosti približno 2,4 cm, ki prikazuje odgovore in osnovne informacije sistema. Upravljanje poteka prek fizičnih gumbov, kar pomeni, da naprava deluje brez tipkovnice ali zaslona računalnika.

Da bi sistem ohranil kontekst, uporablja tudi lokalno bazo podatkov za shranjevanje informacij in preteklih pogovorov. Tako lahko asistent upošteva prejšnje interakcije in zagotovi bolj smiselne odgovore.

Projekt je objavljen kot odprtokodna rešitev, kar pomeni, da ga lahko razvijalci prilagodijo ali nadgradijo. Takšni sistemi nakazujejo smer razvoja umetne inteligence, kjer bo vse več rešitev delovalo neposredno na napravi, brez odvisnosti od oblačnih storitev.