Twoja strona blokuje boty AI i nawet o tym nie wiesz

To jeden z podstawowych błędów w GEO i łatwo go przeoczyć. Zanim zaczniesz poprawiać treść, upewnij się, że w ogóle dociera do modeli. Czasem nie dociera, a właściciel może o tym nie wiedzieć.

Błąd, który łatwo przeoczyć

Autor jednego z wpisów branżowych z czerwca 2026 (r-sun.ai) uważa niezamierzone blokowanie crawlerów AI za najczęstszy problem znajdowany w audytach dostępności dla tych botów. Wpis nie podaje próby ani danych, więc traktuj to jako opinię, a nie statystykę. Mechanizm bywa cichy: blokadę mogą wprowadzić reguły zapory (WAF), limity żądań, CDN albo hosting (Google zaleca sprawdzić, czy indeksowanie jest dozwolone w pliku robots.txt oraz przez sieć CDN lub infrastrukturę hostingową), a właściciel strony nie zawsze o tym wie.

Od 1 lipca 2025 Cloudflare przedstawiał blokowanie crawlerów AI jako ustawienie domyślne dla nowych domen (przy zakładaniu domeny właściciel był pytany, czy zezwolić crawlerom AI), a od 15 września 2026 proponuje jeden z dwóch zestawów ustawień, zależnych od tego, czy witryna zarabia na reklamach. Według wpisu Cloudflare z 15 września 2026 dawny przełącznik „Block AI Bots” zostaje zastąpiony trzema niezależnymi ustawieniami: Search (budowanie indeksu wyszukiwania), Training (trenowanie modeli) i Agent (boty działające na prośbę użytkownika). W zalecanych ustawieniach dla nowych domen Search jest dozwolony, a Training i Agent są dozwolone na stronach niemonetyzowanych reklamami; na stronach z reklamami zalecane jest Disallow AI Training dla Training i blokada na stronach z reklamami dla Agent; istniejące ustawienia mają zostać przeniesione automatycznie (według Cloudflare w niemal każdym przypadku nic nie trzeba robić). Dokumentacja „Block AI Bots” (stan na 1 lipca 2026) nie w pełni zgadza się z tym wpisem, więc zamiast zakładać, jak ustawiona jest Twoja domena, sprawdź to w panelu.

Druga pułapka to JavaScript. Strony renderowane po stronie klienta mogą być dla części botów AI puste. Według badania Vercel i MERJ z 17 grudnia 2024, opartego na danych z sieci Vercel, JavaScriptu nie renderowały badane boty OpenAI (OAI-SearchBot, ChatGPT-User, GPTBot), Anthropic (ClaudeBot) i Perplexity (PerplexityBot), a Gemini korzysta z infrastruktury Googlebota, co daje mu pełne renderowanie JavaScriptu. Server-side rendering (lub prerendering) kluczowych podstron to najbezpieczniejsze rozwiązanie, bo nie zależy od tego, czy dany bot wykonuje JavaScript. Jeśli Twoja oferta i strony produktowe „doczytują się” w przeglądarce, mogą być niewidoczne dla botów, które go nie wykonują. Badanie pochodzi z grudnia 2024, więc dziś stan może być inny.

[ŹRÓDŁO] R[AI]SING SUN: „GEO in June 2026: The Methods and Metrics That Actually Work” (r-sun.ai); Cloudflare: „Have it both ways: stay discoverable in search while disallowing AI training” (blog.cloudflare.com), „Cloudflare Helps End the Search-or-AI-Training Tradeoff” (cloudflare.com), „Cloudflare Just Changed How AI Crawlers Scrape the Internet-at-Large; Permission-Based Approach Makes Way for A New Business Model” (cloudflare.com), „Block AI Bots” (developers.cloudflare.com); Vercel: „The rise of the AI crawler” (vercel.com); Centrum wyszukiwarki Google: „Funkcje oparte na AI a Twoja witryna” (developers.google.com), JavaScript a SEO, podstawy (developers.google.com), dostęp 24 października 2026.

Jak to zdiagnozować (3 kroki)

1. Sprawdź robots.txt pod kątem reguł Disallow dla user-agentów AI: GPTBot, OAI-SearchBot, ChatGPT-User, ClaudeBot, Claude-SearchBot, Claude-User, PerplexityBot, Perplexity-User, Google-Extended.
2. Sprawdź Cloudflare lub inny CDN i zaporę. Ustawienia botów AI, reguły WAF i limity żądań mogą zatrzymywać boty niezależnie od robots.txt, który jest tylko prośbą. Przejrzyj logi serwera i analitykę Cloudflare (AI Crawl Control, Security Analytics) pod kątem tych user-agentów oraz kodów 403 i 429. Brak wizyt nie musi oznaczać blokady, a Google-Extended nie ma osobnego user-agenta w logach.
3. Zrób test renderowania. Porównaj HTML „view-source” z tym, co widać po załadowaniu JS. Różnica oznacza treść, która może być niewidoczna dla botów, które nie wykonują JavaScriptu.

Boty z tej listy mają różne role:

• Trening modeli: GPTBot (OpenAI), ClaudeBot (Anthropic) i Google-Extended. Ten ostatni dotyczy trenowania modeli Gemini i groundingu w aplikacjach Gemini, a według Google nie wpływa na obecność w wyszukiwarce Google.
• Wyszukiwanie: OAI-SearchBot, Claude-SearchBot i PerplexityBot. Według OpenAI strony wyłączone z OAI-SearchBot nie są pokazywane w odpowiedziach wyszukiwania ChatGPT, choć mogą pojawić się jako linki nawigacyjne.
• Na prośbę użytkownika: ChatGPT-User, Claude-User i Perplexity-User mogą pobierać stronę, gdy ktoś zadaje pytanie. OpenAI pisze, że do ChatGPT-User reguły robots.txt mogą nie mieć zastosowania (bot nie służy do ustalania obecności w wyszukiwaniu), a Perplexity, że Perplexity-User zwykle ignoruje robots.txt.

[ŹRÓDŁO] OpenAI: „Overview of OpenAI Crawlers” (developers.openai.com); Anthropic: „Does Anthropic crawl data from the web, and how can site owners block the crawler?” (support.claude.com); Perplexity: „Perplexity Crawlers” (docs.perplexity.ai); Centrum wyszukiwarki Google: „Typowe roboty Google” (developers.google.com); Cloudflare: „robots.txt setting” (developers.cloudflare.com), „Manage AI crawlers” (developers.cloudflare.com), „Get started with Cloudflare AI Crawl Control” (developers.cloudflare.com), „Get started with Bot Fight Mode” (developers.cloudflare.com); R[AI]SING SUN: „GEO in June 2026: The Methods and Metrics That Actually Work” (r-sun.ai), dostęp 24 października 2026.

Jak to naprawić

• Dodaj jawne Allow dla botów, które chcesz wpuścić, przede wszystkim wyszukiwawczych. Boty treningowe możesz blokować świadomie, bo według OpenAI i Cloudflare nie wyklucza to z wyszukiwania.
• W Cloudflare sprawdź ustawienia botów AI i reguły WAF oraz zostaw Search dozwolony. Jeśli chcesz tylko odmówić trenowania, wybierz Disallow AI Training zamiast Block: według Cloudflare ustawienie Block dla Training obejmuje od 15 września 2026 także crawlery służące jednocześnie wyszukiwaniu i trenowaniu (Googlebot, Bingbot, Applebot), więc ogranicza też zwykłe wyszukiwanie. Ustawienia Search, Training i Agent obowiązują dla całej domeny.
• Wdróż SSR / prerendering dla stron, które mają być cytowane (oferta, produkty, treści cornerstone).

[ŹRÓDŁO] Cloudflare: „Have it both ways: stay discoverable in search while disallowing AI training” (blog.cloudflare.com); OpenAI: „Overview of OpenAI Crawlers” (developers.openai.com), dostęp 24 października 2026.

Co daje odblokowanie, a czego nie

Odblokowanie jest warunkiem wstępnym, a nie gwarancją cytowania. Efekt nie jest natychmiastowy: OpenAI i Perplexity podają do ok. 24 godzin na uwzględnienie zmian w robots.txt, a według Google ponowne zindeksowanie strony może potrwać od kilku dni do kilku miesięcy, przy czym indeksowanie i wyświetlanie nie jest gwarantowane.

Warto odróżnić odblokowanie od zmian w treści. W eksperymentach Aggarwal i in. (m.in. Princeton University, KDD 2024, zbiór testowy 1 tys. zapytań z benchmarku GEO-bench) dodanie do treści cytatów, statystyk i odwołań do źródeł zwiększało widoczność w symulowanym silniku generatywnym do ok. 40%. Badanie dotyczyło zmian w treści, a nie odblokowywania botów, więc nie mówi nic o efekcie odblokowania.

[ŹRÓDŁO] OpenAI: „Overview of OpenAI Crawlers” (developers.openai.com); Perplexity: „Perplexity Crawlers” (docs.perplexity.ai); Centrum wyszukiwarki Google: „Funkcje oparte na AI a Twoja witryna” (developers.google.com); Aggarwal i in.: „GEO: Generative Engine Optimization” (arxiv.org), dostęp 24 października 2026.

Diagnozę dostępności dla AI robimy w ramach audytu widoczności w AI - to naturalny pierwszy krok, zanim zaczniemy optymalizować samą treść.

Najczęstsze pytania

Jak sprawdzić, czy AI widzi moją stronę?

Sprawdź robots.txt pod kątem blokad botów wyszukiwawczych (OAI-SearchBot, Claude-SearchBot, PerplexityBot) i treningowych (GPTBot, ClaudeBot). Przejrzyj ustawienia botów AI i reguły WAF w Cloudflare lub innym CDN oraz logi serwera, w których szukaj wizyt tych botów i odpowiedzi 403 lub 429. Na końcu porównaj HTML źródłowy z wersją po JS.

Czy Cloudflare blokuje boty AI?

Może, jeśli ktoś włączył lub zaakceptował blokadę w ustawieniach botów AI albo dodał regułę WAF. Według Cloudflare w zalecanych ustawieniach dla nowych domen Search jest dozwolony, a przy zmianach ogłoszonych 15 września 2026 istniejące ustawienia mają zostać przeniesione automatycznie (według Cloudflare w niemal każdym przypadku nic nie trzeba robić). Blokada botów treningowych (GPTBot, ClaudeBot) nie wyklucza z wyszukiwania AI. Sprawdź ustawienia w panelu Cloudflare.

Czy muszę mieć server-side rendering?

Zdecydowanie warto. Googlebot renderuje JavaScript, ale według badania Vercel i MERJ z grudnia 2024 nie renderowały go badane boty OpenAI, Anthropic i Perplexity, więc treść doczytywana w JavaScript może być dla nich niewidoczna. Dla stron, które mają być cytowane, najbezpieczniejszy jest SSR lub prerendering.

Powiązane artykuły

• Skad AI bierze rekomendacje
• llms.txt po polsku: przewodnik
• Audyt GEO krok po kroku
• 5 sygnalow, ze strona odstrasza Google
• Dane strukturalne: co AI czyta
• Czym jest GEO? Przewodnik 2026