Zasebna umetna inteligenca v žepu brez interneta

Uporaba umetne inteligence običajno pomeni stalno povezavo z oblakom, kar odpira vprašanja zasebnosti. Nov projekt pa kaže, da je mogoče zgraditi popolnoma funkcionalnega AI asistenta, ki deluje brez internetne povezave, neposredno na lokalni napravi.
Foto: Naz Louis
Foto: Naz Louis

Zanimiv projekt iz skupnosti razvijalcev prikazuje, kako lahko umetna inteligenca deluje popolnoma brez povezave z internetom. Razvijalec je namreč sestavil »offline« AI asistenta, ki temelji na napravi Raspberry Pi 5. Ta deluje izključno z lokalno obdelavo podatkov.

Glavni razlog za takšen pristop je zasebnost. Večina sodobnih AI storitev zahteva pošiljanje podatkov v oblak, kar za mnoge uporabnike predstavlja tveganje. Lokalna rešitev omogoča, da vsi podatki ostanejo na napravi, brez zunanjih strežnikov.

Sistem uporablja optimizirano različico jezikovnega modela, ki je dovolj lahka, da deluje na omejeni strojni opremi. Model lahko generira odgovore s hitrostjo približno 5 do 10 tako imenovanih »tokenov« na sekundo, pri čemer prvi odziv pride v manj kot osmih sekundah.

Pomemben del sistema je tudi glasovna interakcija. Zvok, zajet prek mikrofona, se lokalno pretvori v besedilo, nato pa AI pripravi odgovor, ki ga naprava predvaja prek zvočnika. Celoten proces pa kot že omenjeno poteka brez internetne povezave.

Projekt vključuje tudi osnovno vizualno inteligenco. S pomočjo kamere in modela za prepoznavanje objektov lahko naprava analizira okolico in prepozna predmete v vidnem polju.

Za uporabniški vmesnik je uporabljen majhen OLED zaslon velikosti približno 2,4 cm, ki prikazuje odgovore in osnovne informacije sistema. Upravljanje poteka prek fizičnih gumbov, kar pomeni, da naprava deluje brez tipkovnice ali zaslona računalnika.

Da bi sistem ohranil kontekst, uporablja tudi lokalno bazo podatkov za shranjevanje informacij in preteklih pogovorov. Tako lahko asistent upošteva prejšnje interakcije in zagotovi bolj smiselne odgovore.

Projekt je objavljen kot odprtokodna rešitev, kar pomeni, da ga lahko razvijalci prilagodijo ali nadgradijo. Takšni sistemi nakazujejo smer razvoja umetne inteligence, kjer bo vse več rešitev delovalo neposredno na napravi, brez odvisnosti od oblačnih storitev.


Vam je bila novica zanimiva?

Povejte prijateljem, da ste novico prebrali na Računalniških novicah.

Share
Prijavi napako v članku
Vas zanima več iz te teme?
Raspberry Pi

Povezave



Kaj berejo drugi?

Partnerji Računalniških novic Prikaži vse

OD A – Ž d.o.o.

Mariborska cesta 128, 3000 Celje, Tel: 041 627 640

InfoQ d.o.o., informacijske rešitve

Cankarjeva cesta 6a, 8330 Metlika, Tel: 041 630 449
Podjetje InfoQ d.o.o. razvija programske rešitve za proizvodna podjetja, ki potrebujejo SCADA (Supervisory Control and Data Acquisition) in MES (Manufacturing Execution System) skupaj ... Več

Komponentko d.o.o.

Ulica Ambrožiča Novljana 5, 1000 Ljubljana, Tel: 030 755 005
Računalniške ponudbe je v Sloveniji ogromno. Dobre računalniške ponudbe pa zelo malo. Vsak, ki se odloča za nakup računalnika, grafične kartice ali katerekoli druge računalniške ... Več

PLANET GV d.o.o.

Likozarjeva ulica 3, 1000 Ljubljana, Tel: 080 33 44
V podjetju Planet GV posameznikom in podjetjem v Sloveniji pomagamo do novih znanj in boljših poslovnih rezultatov. Živimo in delujemo v skladu s svojim sloganom »Povezujemo priložnosti«. Bogati ... Več