Incident, ki razkriva tveganja UI agentov

Meta se je pretekli teden soočila z varnostnim incidentom, ki je razkril omejitve in tveganja uporabe UI agentov v podjetniških okoljih. Po poročanju medija The Information zaposleni skoraj dve uri niso imeli pooblaščenega dostopa do določenih podatkov, kar je bila posledica napačnega tehničnega nasveta internega UI sistema. Podjetje poudarja, da pri tem ni prišlo do zlorabe uporabniških podatkov.

Incident se je začel, ko je inženir uporabil internega UI agenta za analizo vprašanja na internem forumu. Agent je nato brez odobritve javno objavil odgovor, ki je bil sicer namenjen le posameznemu uporabniku. Težava pa je bila v tem, da je bil odgovor tehnično napačen.

Na podlagi tega nasveta je zaposleni izvedel določene ukrepe, kar je sprožilo varnostni incident stopnje SEV1, drugo najvišjo stopnjo resnosti v Meti. Posledično so se nekaterim zaposlenim začasno spremenile pravice za dostop do podatkov. Težava je bila hitro odpravljena.

Meta poudarja, da UI agent ni izvedel nobenih neposrednih tehničnih posegov, temveč je zgolj podal napačen odgovor. Končna odločitev je bila v rokah človeka, ki bi lahko z dodatnimi preverjanji incident preprečil.

Dogodek sledi še enemu nedavnemu primeru, ko je UI agent brez dovoljenja brisal e-pošto. Oba primera potrjujeta, da UI agenti še niso dovolj zanesljivi za popolnoma avtonomno delovanje. Ključni izziv tako ostaja vzpostavitev nadzora, ki bo omogočil varno uporabo umetne inteligence brez tveganja za kritične sisteme.