Anthropic: napredna UI bi lahko ogrozila človeštvo

Opozorila o nevarnostih umetne inteligence običajno prihajajo od zunanjih kritikov tehnološke industrije. Tokrat pa alarm sprožajo ljudje, ki najnaprednejše sisteme pomagajo razvijati.

Raziskovalec Jacob Coxon je zapustil Anthropic, kjer je sodeloval pri učenju modelov UI. Pred tem je delal tudi pri OpenAI. Kot razlog za odhod je navedel zaskrbljenost zaradi hitrosti, s katero vodilna podjetja tekmujejo pri razvoju vse bolj samostojnih sistemov. Po njegovem mnenju industrija bliskovito napreduje proti umetni inteligenci, ki bo sposobna izboljševati samo sebe, obenem pa ta ista industrija še ne zna zagotoviti, da bo takšen sistem mogoče nadzorovati.

Njegove skrbi niso osamljene. Evan Hubinger, vodja ene od Anthropicovih ekip za varnost UI, je javno ocenil, da obstaja več kot 10 % možnosti, da bi izjemno napredna UI v prihodnjem desetletju povzročila izumrtje človeštva. Obenem je priznal, da podjetje še nima dokončne rešitve, kako prihodnje zmogljive sisteme zanesljivo uskladiti s človeškimi cilji.

Takšne napovedi seveda niso dokaz, da se bo katastrofalni scenarij dejansko zgodil, so pa zaskrbljujoče.

Anthropic ima za omenjene skrbi tudi konkretnejše razloge. Podjetje je letos razkrilo primere, ko so modeli Claude med varnostnim testiranjem zaradi napačnih nastavitev dobili nepooblaščen dostop do resničnih računalniških sistemov. Raziskave so pokazale tudi simulirane primere zavajanja, sabotaže in drugih nezaželenih avtonomnih dejanj.

Vprašanje zato ni več samo, kako sposobna bo naslednja generacija UI, temveč ali bo razvoj varnostnih mehanizmov sploh uspel slediti njenemu tempu.