Sve više web stranica blokira AI botove u pristupu njihovom sadržaju

Sve veći broj web stranica blokira promet AI botova kako njihov rad ne bi korišten za obuku i kako njihovi poslužitelji ne bi bili preopterećeni. Pojedine tvrtke ignoriraju zabrane.

Miroslav Wranka srijeda, 10. prosinca 2025. u 10:22
📷 Luis Gomes (Pexels)
Luis Gomes (Pexels)

Analiza online prometa koju je provela tvrtka BuiltWith, tvrtka za web metriku, pokazuje kako je broj izdavača koji pokušavaju spriječiti AI botove u prikupljanju sadržaja za obuku modela porastao od srpnja. Oko 5,6 milijuna web stranica dodalo je OpenAI-jev GPTBot na popis zabranjenih sadržaja u svojoj datoteci robots.txt, u odnosu na oko 3,3 milijuna početkom srpnja 2025. To je povećanje od gotovo 70 posto.

Web stranice mogu signalizirati robotima za indeksiranje dopuštaju li automatizirane zahtjeve za prikupljanje informacija putem unosa u svojim datotekama robots.txt. Usklađenost s ovim direktivama je dobrovoljna, ali ponovljeno nepoštivanje ovih pravila može se pojaviti u parnici, kao što se dogodilo u Redditovoj tužbi za prikupljanjem podataka protiv Anthropica ranije ove godine.

Blokiraju čak i Google

ClaudeBot te tvrtke sada je blokiran na oko 5,8 milijuna web stranica (3,2 milijuna početkom srpnja), a slično vrijedi i za Claude-SearchBot te za AppleBot, blokiran na oko 5,8 milijuna web stranica (3,2 milijuna u srpnju). Čak se i GoogleBot - koji indeksira podatke za pretraživanje - suočava s rastućim otporom, možda zato što ga također koriste za AI Overviews. Dobio je blok na 18 milijuna web stranica.

Od srpnja je oko polovica web stranica s vijestima blokirala GPTBot, prema Arc XP-u, tvrtki za objavljivanje koja se izdvojila iz Washington Posta.
Tollbit, tvrtka koja ima za cilj pomoći izdavačima u unovčavanju prometa robota s umjetnom inteligencijom putem naknada za pristup, u izvješću za drugo tromjesečje 2025. navela je kako je u protekloj godini došlo do povećanja od 336 posto na stranicama koje blokiraju takve robote.

Nešto više od 13 posto svih AI botova ignoriralo je upute u robots.txt u drugom kvartalu 2025. (3,3 posto u četvrtom kvartalu 2024. Takvo ponašanje osporio je na sudu ne samo Reddit, već je i dio tužbe koju su veliki izdavači vijesti podnijeli protiv Perplexityja 2024. godine. Nastojanja za blokiranjem postala su općenito kompliciranija nakon pojave web preglednika s ugrađenim modelima umjetne inteligencije jer ih je teško razlikovati od živih ljudi.