Umetna inteligenca z lastnim operacijskim sistemom za spomin

Odprtokodna skupnost se hitro razvija na področju umetne inteligence. Čeprav priljubljeni Hermes Agent (Nous Research) že sam po sebi ponuja določeno stopnjo pomnjenja med sejami, razvijalci opozarjajo, da je vgrajeni spomin preveč plitkih struktur za resno in dolgotrajno delo. Rešitev prinaša nov neodvisni projekt Memory OS.

Image by Firmbee from Pixabay

Programer pod psevdonimom ClaudioDrews je pod MIT licenco izdal novo knjižnico Memory OS, ki jo opisujejo kot »operacijski sistem za spomin«. Ne gre za preprost vtičnik, ki bi ga le vklopili, temveč za celovit večslojen sistem, ki teče vzporedno s Hermes Agentom. Celotna arhitektura deluje lokalno s pomočjo tehnologij Docker, Qdrant, Redis in Python 3.11+, združljiva pa je z vsemi ponudniki modelov LLM, ki jih Hermes že podpira (vključno z OpenAI, Anthropic, OpenRouter in Ollama).

Sistem spomin razporedi v šest natančno določenih slojev, ki si sledijo od osnovnih datotek do naprednih struktur. Prvi sloj predstavlja Delovni prostor, datoteke pa se ob vsakem koraku vstavijo v sistemski poziv. Sledi drugi sloj za Seje, ki uporablja bazo SQLite s funkcijo FTS5 za celostno iskanje po zgodovini pogovorov. Tretji sloj sestavljajo Strukturirana dejstva, ki shranjujejo trajna dejstva z dodanim ocenjevanjem zaupanja in povratno zanko, ki te ocene skozi čas prilagaja.

Četrti sloj se imenuje Fabric in predstavlja močno predelano različico vtičnika Icarus, ki z močjo modelov LLM analizira seje ter ponuja 16 namenskih orodij za priklic in zapisovanje podatkov. Peti sloj je Vektorska baza, ki temelji na platformi Qdrant in uporablja 4096-dimenzionalne kosinusne vektorje v kombinaciji z algoritmom BM25 za razvrščanje ključnih besed. Zadnji, šesti sloj, pa je LLM Wiki, ki deluje kot samodejno urejena knjižnica konceptov, entitet in primerjav. Ta se nenehno vrača nazaj v Qdrant prek procesa stalnega vnašanja.

Proces delovanja je optimiziran za čim manjšo porabo žetonov in ne za brezglavo polnjenje kontekstnega okna. Pred klicem modela sistem izvede tako imenovani kirurški priklic, ko hkrati črpa podatke iz štirih virov (Fabric, Qdrant, seje in dejstva), pri čemer vsak vir filtrira skozi prag pomembnosti. Po koncu klica pa sistem avtomatsko izlušči in shrani nova spoznanja.

Za stabilnost skrbi štiristopenjski sistem kaskadnega reševanja. Če odpove hibridno iskanje, sistem poskusi z gostimi vektorji, nato z leksikalnim iskanjem in nazadnje s klasično SQLite bazo. Da ne bi prišlo do prenasičenosti podatkov, Memory OS tedensko izvaja čiščenje zastarelih vnosov in združuje skoraj identične spomine, ko kosinusna podobnost preseže vrednost 0,92.

Memory OS se s tem postavlja ob rob oblačnim storitvam, kot so mem0, Zep ali Letta. Njegov glavni adut je popolna lokalna hramba podatkov na lastni strojni opremi, kar je ključno za podjetja in ekipe s strogimi pravili glede zasebnosti in lokacije podatkov.

Kljub velikemu potencialu pa ima projekt trenutno še nekaj omejitev. Gre za povsem nov sistem z malo opravljenimi popravki, zahteva razmeroma kompleksno namestitev z več zunanjimi odvisnostmi, predelan vtičnik Icarus ni združljiv z izvorno kodo. Avtor pa javnosti še ni predočil uradnih testov hitrosti in kakovosti priklica podatkov ter dejanskega prihranka žetonov.