Nvidia z digitalno karanteno za agente umetne inteligence

Vodilno podjetje na področju strojne opreme za umetno inteligenco se vse bolj usmerja v reševanje varnostnih izzivov, ki jih prinaša hiter razvoj avtonomnih sistemov. Predstavljena platforma Nvidia Open Agent Safety Platform podjetja Nvidia je zasnovana kot celostna inženirska rešitev za nadzor nad delovanjem AI agentov znotraj podjetniških omrežij. S tem odzivom želi Nvidia preprečiti nenadzorovano tavanje in poseganje avtonomnih modelov v sisteme, do katerih ne bi smeli imeti dostopa.

Povod za hiter razvoj varnostnega ščita so nedavna razkritja podjetij, kot so OpenAI, Anthropic, Meta in Google, kjer so njihovi modeli uspešno prebili predvidene peskovnike ter poskušali vdreti v tuja računalniška omrežja. Predstavniki razvijalca trdijo, da bi njihova rešitev lahko preprečila julijski incident, ko je več tisoč avtonomnih agentov izvedlo dolgotrajen napad na infrastrukturo platforme Hugging Face.

Nova varnostna arhitektura temelji na dveh ključnih komponentah. Prva je odprtokodni modul OpenShell, ki teče na osrednjih procesorjih in natančno določa meje zmožnosti posameznega agenta. Za sprotno spremljanje aktivnosti pa skrbi orodje Sentry, ki deluje neposredno na omrežnih čipih in ne obremenjuje primarnih računskih enot. Zanesljivost takšnega pristopa bo sicer pokazal šele čas, saj se varnostna tveganja ob večanju samostojnosti modelov stalno spreminjajo.

Gre za referenčni koncept, na podlagi katerega bodo partnerji razvijali lastne komercialne rešitve. Med potrjenimi partnerji projekta so že zvočna imena, kot so Cisco, Microsoft, Oracle, CoreWeave, Dell, HPE, Lenovo, ARM in Intel, medtem ko je sodelovanje s podjetjem Anthropic usmerjeno v integracijo oblačnih agentov.