Crawlery agentów AI wymagają teraz zgody właścicieli stron

Od 15 września 2025 roku Cloudflare — firma, przez której infrastrukturę przechodzi znaczna część światowego ruchu internetowego — zablokuje domyślnie boty agentowe AI na stronach wyświetlających reklamy. Ta zmiana, ogłoszona 1 lipca 2025 roku, nie jest kolejnym punktem w robots.txt, który crawler może zignorować — działa na poziomie sieci, czyli po prostu nie wpuszcza bota. Dla tysięcy firm budujących agenty AI oznacza to, że internet, na którym opierały swoje systemy, właśnie zaczął zamykać drzwi.

Czym są crawlery agentów AI i dlaczego Cloudflare je blokuje?

Crawler agenta AI to bot, który pobiera strony internetowe w czasie rzeczywistym w imieniu użytkownika czekającego na odpowiedź — inaczej niż tradycyjny indekser wyszukiwarki, który robi to z wyprzedzeniem. Przykłady to bot pobierający strony dla ChatGPT (znany jako ChatGPT-User) czy systemy przeglądarek sterowanych przez modele językowe.

Cloudflare przez lata oferował jeden przełącznik: zablokuj boty AI albo nie. Od 1 lipca 2025 roku firma zastąpiła go trzema osobnymi kategoriami. Kategoria Search obejmuje boty indeksujące strony, żeby później odpowiadać na pytania. Kategoria Agent obejmuje systemy działające w czasie rzeczywistym dla użytkownika. Kategoria Training obejmuje crawlery ściągające treści do wag modelu.

Logika biznesowa Cloudflare jest prosta: reklama na stronie to dowód, że strona powstała z myślą o człowieku. Crawler wyszukiwarki, który odsyła czytelnika z powrotem do tej strony, działa jak referencja. Bot, który czyta stronę i przekazuje odpowiedź komuś innemu, nie jest już odwiedzającym — jest pośrednikiem, który zabiera ruch bez zwrotu.

Co dokładnie zmienia się 15 września 2025 roku?

Nowe domyślne ustawienia zaczną obowiązywać od 15 września 2025 roku dla trzech grup użytkowników Cloudflare: domen dopiero dołączających do usługi, nowych stron zakładanych przez obecnych klientów oraz wszystkich istniejących klientów korzystających z bezpłatnego planu. Kategorie Training i Agent będą domyślnie blokowane na stronach wyświetlających reklamy, podczas gdy kategoria Search pozostanie dozwolona.

Właściciele stron, którzy nie chcą tych ograniczeń, mogą je wyłączyć w ustawieniach bezpieczeństwa przed tą datą. Klienci płatnych planów, którzy nie dołączyli nowych domen, nie zostaną dotknięci zmianą automatycznie — ale mogą ustawić nowe reguły ręcznie już teraz.

Redakcja IWD Partner: Przez lata debata o dostępie botów AI do treści toczyła się głównie w salach sądowych i na łamach umów licencyjnych — teraz po raz pierwszy rozstrzyga się na poziomie infrastruktury sieciowej, zanim ktokolwiek zdąży złożyć pozew. To przesunięcie centrum ciężkości z prawa do inżynierii sieci przypomina historię z HTTPS: kiedy Google zaczął obniżać ranking stron bez certyfikatu, branża zaszyfrowała się szybciej niż po dekadzie regulacyjnych apeli. Pytanie brzmi, czy wydawcy i deweloperzy agentów AI zdołają wypracować model biznesowy szybciej, niż blokady staną się powszechnym standardem.

Jak klasyfikacja botów działa w praktyce dla deweloperów agentów?

Klasyfikacja w systemie Cloudflare jest behawioralna, a nie deklaratywna — oznacza to, że agent badawczy przeglądający strony w czasie rzeczywistym zostanie zakwalifikowany jako Agent-class niezależnie od tego, czy jego twórca myśli o nim w kategoriach crawlera. Deweloperzy budujący systemy agentowe powinni zidentyfikować, które z ich kont Cloudflare będą czytane jako kategoria Agent, zanim zmiany domyślne wejdą w życie.

Praktyczne scenariusze są liczne i dotykają realnych zastosowań biznesowych. Agent badawczy pobierający stronę z cenami konkurencji, narzędzie monitorujące ogłoszenia dostawcy, bot obsługi klienta ściągający kartę techniczną producenta — żadne z tych działań nie wymagało wcześniej licencji ani zgody. Od 15 września 2025 roku każde z nich może trafić w ścianę milczenia zamiast na odpowiednią stronę.

Cloudflare nie tylko blokuje — oferuje też mechanizm negocjacji dostępu. Operatorzy agentów mogą ubiegać się o pozwolenie bezpośrednio u właścicieli stron poprzez nowe narzędzia platformy. Oznacza to, że ekosystem agentów AI stoi u progu modelu, który bardziej przypomina API z kluczem dostępu niż otwarty internet.

Dlaczego sprawa Googlebota komplikuje cały system?

Googlebot indeksuje strony zarówno na potrzeby wyszukiwania, jak i treningu modeli — w jednym bocie. Przy najbardziej restrykcyjnej regule strona, która blokuje kategorię Training, blokuje też Googlebot. Matthew Prince, dyrektor generalny Cloudflare, stwierdził w lipcu 2025 roku, że firma ma nadzieję, iż zmiany „zachęcą crawlery mieszanego użytku do rozdzielenia wyszukiwania od użytku agentowego i treningu”. To dyplomatyczny sygnał, że presja jest zamierzona.

Dla wydawców to dylematyczna sytuacja: zablokowanie trenowania modeli może oznaczać wypadnięcie z indeksu wyszukiwarki Google, co dla większości stron byłoby katastrofą ruchową. Cloudflare daje narzędzie, ale wybór jego użycia wiąże się z poważnymi kompromisami — przynajmniej dopóki Google nie rozdzieli swoich botów na oddzielne agenty z osobnymi sygnaturami.

Dlaczego kontrola nad crawlerami AI ma znaczenie dla całego ekosystemu technologicznego?

Cloudflare obsługuje według własnych danych ponad 20% ruchu internetowego na świecie, a jego blokady działają na poziomie sieci, nie jako sugestia w pliku robots.txt. Oznacza to, że nowe reguły mają rzeczywistą siłę egzekucyjną — crawler nie może ich po prostu zignorować, jak ignoruje wiele dyrektyw robots.txt w praktyce.

Dla firm budujących agenty AI to sygnał ostrzegawczy dotyczący architektury systemów. Agentic deployments — czyli wdrożenia systemów działających autonomicznie na otwartym internecie — były budowane przy założeniu, że sieć pozostaje otwarta. To założenie przestaje być bezpieczne. Alternatywy to dedykowane API, negocjowane umowy z wydawcami lub własne bazy danych treści.

Zmiana Cloudflare może przyspieszyć formowanie się rynku licencji na treści dla AI, który — według wstępnych szacunków branżowych z 2025 roku — dopiero zaczyna przyjmować konkretne kształty w postaci umów zawieranych przez takie firmy jak OpenAI czy Google z wydawcami medialnymi. Infrastruktura sieciowa stała się nowym polem negocjacji między twórcami treści a twórcami modeli.

Powiązane pojęcia z AI i uczenia maszynowego

• Agentic AI (AI agentowe) — systemy sztucznej inteligencji zdolne do samodzielnego planowania i wykonywania sekwencji działań w celu realizacji zadania, w tym przeglądania internetu w czasie rzeczywistym.
• Web crawler (pająk internetowy) — zautomatyzowany program pobierający strony internetowe systematycznie w celu ich indeksowania lub analizy.
• robots.txt — plik tekstowy na serwerze strony zawierający instrukcje dla botów dotyczące tego, które zasoby mogą pobierać, jednak bez technicznego mechanizmu egzekwowania.
• Edge network (sieć brzegowa) — infrastruktura serwerów rozmieszczonych blisko użytkowników końcowych, przez którą przechodzi ruch sieciowy i która może filtrować go zanim dotrze do serwera docelowego.
• Training crawler — bot zbierający treści internetowe w celu włączenia ich do danych treningowych modelu językowego lub innego systemu uczenia maszynowego.

Na podstawie materiałów źródłowych.