Cloudflare obtožuje Perplexity prikritega dostopa do spletnih strani

Podjetje Perplexity, znano po svojem UI iskalniku, je po navedbah Cloudflarea domnevno zaobšlo varnostne ukrepe, ki naj bi preprečevali dostop njihovih spletnih pajkov (crawlerjev) do določenih strani. V poročilu Cloudflare navaja, da Perplexity ob zaznani blokadi skrije identiteto svojega pajka, da bi zaobšel želje lastnikov spletnih mest.

Ta obtožba krepi zaskrbljenost, da Perplexity pridobiva vsebine brez dovoljenja. Že lani je podjetje naletelo na kritike, ker naj bi obšlo zaščite spletnih strani in ignoriralo robots.txt datoteke, ki določajo pravila dostopa za iskalnike. Takrat je izvršni direktor Aravind Srinivas krivdo pripisal zunanjim pajkom tretjih ponudnikov.

Tokrat Cloudflare trdi, da je prejel številne pritožbe svojih strank, ki so poročale, da je Perplexity kljub vpisu prepovedi v robots.txt in dodatnim WAF pravilom (Web Application Firewall) še vedno dostopal do njihovih spletnih strani.

Testiranje prikritih dostopov

Da bi preveril očitke, je Cloudflare ustvaril testne domene z omejitvami za UI pajke Perplexityja. Pri tem je opazil več faz dostopa:

1. Prvi poskus dostopa je bil izveden z jasno identifikacijo kot PerplexityBot ali Perplexity-User.
2. Če je bil dostop zavrnjen, je Perplexity po navedbah Cloudflarea spremenil svoj »user agent«, identifikacijo, ki spletnim stranem pove, kateri brskalnik ali bot dostopa do strani, in se predstavil kot Google Chrome na macOS.
3. Dostop je bil prikrit še dodatno, saj so uporabljali spreminjajoče IP naslove, ki niso bili na javnem seznamu naslovov njihovih botov.
4. Po navedbah Cloudflarea naj bi Perplexity spreminjal tudi ASN (Autonomous System Number), ki običajno identificira omrežja IP naslovov določenega ponudnika, da bi zaobšel blokade.

Cloudflare trdi, da je tovrstna aktivnost vidna na desettisočih domenah in predstavlja milijone zahtevkov na dan.

Odzivi Perplexityja in Cloudflarea

Na očitke je odgovoril predstavnik podjetja Perplexity Jesse Dwyer, ki je poročilo označil za »marketinški trik« in dodal, da je v blog objavi »veliko nesporazumov«.

Cloudflare je medtem Perplexity odstranil s seznama preverjenih botov in uvedel nove metode za blokado prikritih dostopov, ki jih imenuje stealth crawling.

Izvršni direktor Cloudflarea Matthew Prince je že večkrat izpostavil grožnjo, ki jo UI predstavlja založnikom in ustvarjalcem vsebin. Prejšnji mesec je podjetje uvedlo možnost, da spletna mesta zahtevajo plačilo za dostop UI pajkov in da so slednji privzeto blokirani.