Umetna inteligenca ne bo več brezplačno brskala po spletnih straneh

Cloudflare, eden ključnih ponudnikov internetne infrastrukture, bo odslej privzeto blokiral znane UI pajke, da bi preprečil, da bi ti »dostopali do vsebin brez dovoljenja ali nadomestila«. Ob tem bo Cloudflare nove lastnike domen že ob vzpostavitvi vprašal, ali želijo dovoliti dostop umetni inteligenci, za nekatere založnike pa uvaja celo možnost zaračunavanja dostopa prek modela »Pay Per Crawl« (zaračunavanje glede na posamezno brskanje).

Ta model bo omogočil, da založniki in ustvarjalci sami določijo ceno, ki jo bodo podjetja, ki se ukvarjajo z umetno inteligenco, morala plačati za dostop do njihove vsebine. UI podjetja bodo tako lahko pregledala cenik in se odločila, ali bodo plačala in pridobila dostop ali pa se bodo umaknila. Za zdaj je program na voljo le izbrani skupini največjih založnikov in ustvarjalcev vsebin, a pri Cloudflaru pravijo, da bo to zagotovilo, da bodo UI podjetja kakovostne vsebine uporabljala »na pravilen način, z dovoljenjem in ustreznim plačilom.«

Cloudflare sicer lastnikom domen že nekaj časa pomaga pri boju proti UI pajkom. Že leta 2023 so omogočili, da spletne strani blokirajo UI pajke, a le tiste, ki upoštevajo robots.txt, dokument, ki sicer ni pravno zavezujoč, ampak le nakazuje, kaj lahko bot obišče. Kasneje so razširili možnost blokade na vse UI bote, ne glede na to, ali spoštujejo robots.txt ali ne. Zdaj je ta nastavitev privzeto vključena pri vseh novih uporabnikih Cloudflara. Cloudflare botov ne prepozna po robots.txt, ampak jih identificira z lastnim seznamom znanih UI botov.

Marca so dodatno uvedli še funkcijo, ki nezaželene spletne pajke usmeri v t. i. »UI Labirint«, v katerega se ujamejo in ne morejo učinkovito pobirati vsebin brez dovoljenja.

Med večjimi spletnimi stranmi in založniki, ki že podpirajo Cloudflarove nove omejitve UI pajkov, so The Associated Press, The Atlantic, Fortune, Stack Overflow in Quora. Spletna mesta se soočajo s prihodnostjo, v kateri vedno več uporabnikov išče informacije prek UI klepetalnikov in ne več klasičnih iskalnikov.

»V zadnjih šestih mesecih ljudje vedno bolj zaupajo umetni inteligenci, kar pomeni, da ne berejo več originalnih vsebin,« je na dogodku Axios Live povedal izvršni direktor Cloudflara Matthew Prince.

Cloudflare ob tem sodeluje tudi z UI podjetji, da bi preveril in certificiral njihove pajke ter jim omogočil, da jasno navedejo svoj namen, denimo ali vsebine zbirajo za učenje, iskanje ali sklepanje. Vse to z namenom, da bodo lahko lastniki spletnih strani nato preverili in se sami odločili, katere bote bodo spustili do svojih vsebin.

»Originalna vsebina je tisto, zaradi česar je internet ena največjih iznajdb zadnjega stoletja, in skupaj jo moramo zaščititi,« je še dejal Prince v sporočilu za javnost. »UI pajki so vsebine do zdaj zbirali brez omejitev. Naš cilj je, da moč vrnemo v roke ustvarjalcev, hkrati pa UI podjetjem še vedno omogočimo inovacije.«