Google, OpenAI in drugi podpirajo nov standard za zaščito spletnih vsebin pred umetno inteligenco

Spletne strani se že dlje časa spopadajo z množičnimi obiski botov umetne inteligence, ki brez njihove privolitve prebirajo članke in z zbranimi podatki hranijo napredne modele. Doslej so morali upravljavci spletnih mest v datoteki robots.txt ročno nastavljati prepovedi za vsako podjetje posebej, kar je zahtevalo precej truda in stalnega prilagajanja.

Novi standard, ki nastaja pod okriljem organizacije IETF, končno uvaja tako imenovani žeton pravil. Ta deluje kot enoten signal znotraj obstoječe datoteke robots.txt in jasneje določa pravila glede indeksiranja, arhiviranja ter uporabe vsebin za razvoj umetne inteligence. Ko bot zazna ta žeton, lahko omejitev upošteva pri dostopu do vsebin, in sicer za več ponudnikov hkrati. Anthropic je novost že vključil, OpenAI pa namerava sistem uvesti v prihodnjih mesecih. Google in Microsoft podporo načrtujeta za prihodnje leto. Tudi Meta podpira pobudo, čeprav uradno še ni potrdila, ali bo standard v celoti upoštevala.

Nekateri ponudniki bodo poleg splošne prepovedi zajemanja omogočili tudi podrobnejše nastavitve. Microsoft bo založnikom ponudil možnost izbire, ali želijo prepovedati zgolj uporabo vsebin za treniranje modelov ali tudi njihovo uporabo za pridobivanje konteksta in preverjanje informacij. Sodelujoča podjetja ob tem zagotavljajo, da te nastavitve ne bodo vplivale na vidnost spletnih mest v klasičnih iskalnikih, kot sta Bing in Google Search.

Čeprav gre za dobrodošel korak k večjemu nadzoru nad spletnimi vsebinami, ostaja nekaj dvomov glede njegove učinkovitosti. Uspešnost sistema bo namreč še vedno odvisna od tega, ali bodo tehnološka podjetja te signale dejansko spoštovala in ali bodo njihovi avtomatizirani sistemi omejitve upoštevali tudi v praksi.