AI igrača, ki je prestrašila starše

OpenAI je na črno listo postavil kitajskega proizvajalca igrač FoloToy, potem ko so se pojavile resne skrbi glede enega izmed njegovih izdelkov, ki uporablja umetno inteligenco. Odločitev je sledila preiskavi potrošniške organizacije U.S. PIRG, ki je v svojem letnem poročilu Trouble in Toyland ocenila več igrač z umetno inteligenco. Med njimi je bil tudi plišasti medvedek Kumma, ki temelji na GPT‑4o in je med testiranjem pokazal nevarne pomanjkljivosti.

Poročilo opisuje, da je medvedek otrokom dajal navodila, kako prižgati vžigalice, kar seveda predstavlja resno požarno nevarnost za igračo, namenjeno najmlajšim. Še bolj zaskrbljujoče je, da je odgovarjal tudi na vprašanja o spolnosti. Testirci so opozorili na dodatna tveganja glede zasebnosti, saj bi se lahko otroški glasovi posneli in zlorabili za goljufije. Neprestano zvočno spremljanje je bilo označeno kot velik problem.

Dogodek je sprožil razpravo na Redditu, kjer je prevladalo mnenje, da je uporaba umetne inteligence v otroških igračah brez strogih varnostnih ukrepov izjemno neodgovorna. Kot je pričakovano, je bilo veliko sarkazma. Nekateri so medvedka poimenovali “ChuckyGPT” in ga primerjali s scenariji apokalipse umetne inteligence. Nekateri so menili, da so neprimerne odgovore sprožili namerni poskusi “jailbreaka”, a to ni potrjeno.

OpenAI je hitro ukrepal: “Razvijalca smo suspendirali zaradi kršitve naših pravil,” je sporočil predstavnik podjetja. FoloToy je prav tako takoj ustavil prodajo vseh izdelkov in začel celovit varnostni pregled. Na spletni strani je medvedek Kumma še vedno naveden, vendar označen kot “razprodan.”