UI igrača, ki je prestrašila starše

OpenAI je na črno listo postavil kitajskega proizvajalca igrač FoloToy, potem ko so se pojavile resne skrbi glede enega izmed njegovih izdelkov, ki uporablja umetno inteligenco. Odločitev je posledica preiskave potrošniške organizacije U.S. PIRG, ki je v svojem letnem poročilu Trouble in Toyland ocenila več igrač z umetno inteligenco. Med njimi je bil tudi plišasti medvedek Kumma, ki temelji na GPT‑4o in je med testiranjem pokazal nevarne pomanjkljivosti.

Poročilo opisuje, da je medvedek otrokom dajal navodila, kako prižgati vžigalice, kar seveda predstavlja resno požarno nevarnost za igračo, namenjeno najmlajšim. Še bolj zaskrbljujoče je, da je odgovarjal tudi na vprašanja o spolnosti. Dodatni pomisleki so se pojavili zaradi tveganja glede zasebnosti, saj bi lahko otroške glasove posneli in zlorabili za goljufije. Neprestano zvočno spremljanje je bilo označeno kot velika težava.

Dogodek je sprožil razpravo na Redditu, kjer je prevladalo mnenje, da je uporaba umetne inteligence v otroških igračah brez strogih varnostnih ukrepov izjemno neodgovorna. Pričakovano je bilo prisotnega tudi veliko sarkazma. Nekateri so medvedka poimenovali “ChuckyGPT” in ga primerjali s scenariji apokalipse umetne inteligence. Nekateri so menili, da so neprimerne odgovore sprožili namerni poskusi “jailbreaka”, a to ni potrjeno.

OpenAI je hitro ukrepal: “Razvijalca smo suspendirali zaradi kršitve naših pravil,” je sporočil predstavnik podjetja. FoloToy je prav tako takoj ustavil prodajo vseh izdelkov in začel celovit varnostni pregled. Na spletni strani je medvedek Kumma še vedno naveden, vendar označen kot “razprodan.”