OpenAI zaradi vse zmogljivejših kibernetskih modelov upočasnil razvoj

Podjetje je zaradi dotičnega incidenta za dva tedna ustavilo učenje z okrepitvijo pri najnovejših modelih ter zaostrilo nadzor nad sistemi, ki lahko izvajajo kodo ali dostopajo do omrežij. Dogodek je pomemben, ker ni šlo za običajen laboratorijski preizkus, v katerem bi model reševal vnaprej pripravljene naloge. Modeli so med iskanjem rešitve našli nove poti do sistemov, ki jih raziskovalci niso predvideli in jih povezali v dejanski kibernetski napad.

Model je presegel meje testnega okolja

OpenAI je modele testiral v okolju ExploitGym, namenjenem merjenju naprednih kibernetskih sposobnosti. Modeli so morali poiskati in izkoristiti več ranljivosti, pri čemer so imeli omejen dostop do omrežja. Namenoma so bile izključene nekatere zaščite, ki bi pri običajni uporabi preprečile izvajanje nevarnih dejanj.

Med preizkusom je model našel doslej neznano ranljivost v posredniškem sistemu Artifactory, ki je služil kot predpomnilnik za programske pakete. S tem si je zagotovil dostop do interneta, nato pa nadaljeval z iskanjem načinov za širjenje po raziskovalnem okolju.

OpenAI navaja, da so modeli uporabili kombinacijo različnih napadov, vključno z ukradenimi poverilnicami in drugimi ranljivostmi. Na koncu so našli pot do oddaljenega izvajanja kode na strežnikih Hugging Face ter dostopali do podatkov povezanih s preizkusom. OpenAI je v ločeni objavi poudaril, da pri tem niso bili vključeni modeli namenjeni skorajšnji javni objavi, temveč interni raziskovalni prototip.

Varnostne ekipe OpenAI in Hugging Face so dejavnost zaznale in jo zaustavile. OpenAI pravi, da za zdaj ni našel drugega incidenta podobnega obsega, vendar je med pregledom odkril tudi nekaj primerov uporabe javno izpostavljenih poverilnic na drugih spletnih storitvah.

Astra je lahko prelomna točka

OpenAI v novi objavi opozarja, da je eden njegovih prihodnjih modelov, imenovan Astra, po predhodnih ocenah morda dosegel prag “kritične kibernetske sposobnosti”. To pomeni, da bi bil lahko dovolj zmogljiv za izvajanje zahtevnih, večstopenjskih napadov, ki ne zahtevajo stalnega človeškega vodenja.

Podjetje ni objavilo vseh tehničnih meril, na podlagi katerih je sprejelo oceno. Pojasnilo pa je, da je zaradi nje za Astro uvedlo najstrožje varnostne zahteve pri učenju in testiranju. Del delovnih obremenitev je še vedno ustavljen, dokler jih ne preselijo v bolj zaščitena okolja.

To kaže na spremembo v razvoju velikih modelov. Pri prejšnjih generacijah je bilo mogoče kibernetsko tveganje obravnavati predvsem kot vprašanje uporabe po objavi. Pri zmogljivejših sistemih postaja tveganje prisotno že med njihovim razvojem, saj lahko modeli v raziskovalnem okolju sami iščejo načine za širjenje, pridobivanje privilegijev in izogibanje omejitvam.

Varnostni modeli bodo morali braniti pred drugimi modeli

OpenAI se je na incident odzval tako, da je upočasnil najbolj tvegane poskuse. To je priznanje, da hitrost razvoja sama po sebi ni več zadostno merilo napredka. Če se sposobnosti modelov povečujejo hitreje kot varnostni mehanizmi, lahko razvojno okolje postane nova napadalna površina.

Obenem OpenAI meni, da bodo morali prihodnji modeli pomagati tudi pri obrambi. Z njimi želi iskati ranljivosti, preverjati konfiguracije in hitreje odpravljati napake, še preden jih izkoristijo napadalci. Pri tem pa nastane paradoks: ista sposobnost, ki lahko pomaga zaščititi sistem, ga lahko ob napačnih omejitvah tudi ogrozi.

Za podjetja in javne ustanove v Evropi je sporočilo širše od enega incidenta. Umetne inteligence z dostopom do kode, omrežij in notranjih podatkov ne bo dovoljeno obravnavati kot običajnega klepetalnika. Potrebovali bomo strogo omejene pravice, stalno spremljanje, ločevanje okolij in jasen postopek za takojšnjo zaustavitev. OpenAI priznava, da mora varnost napredovati vsaj tako hitro kot sposobnosti modelov. Če tega ravnotežja ne bo, bo vsaka nova generacija umetne inteligence hkrati tudi nova generacija kibernetskega tveganja.