6,4%
Bloqueia algum crawler de IA
1.053 / 16.474
45%
Bloqueia o GPTBot
7.449 / 16.474
4,7%
Bloqueia o CCBot
767 / 16.474
44%
Bloqueia o Google-Extended
7.295 / 16.474
Crawlers de IA bloqueados no robots.txt
| Crawler | Operador | Global | Países Baixos | Reino Unido | Itália | Espanha | Japão | América Latina |
|---|---|---|---|---|---|---|---|---|
| GPTBot | OpenAI (treinamento) | 9,6% | 45% | 47% | 7,4% | 8,2% | 3,7% | 5,5% |
| ChatGPT-User | OpenAI (a pedido do usuário) | 5,2% | 43% | 44% | 3,3% | 4,6% | 2,3% | 2,3% |
| OAI-SearchBot | OpenAI (busca) | 4% | 42% | 44% | 2,6% | 3,6% | 2,2% | 1,8% |
| ClaudeBot | Anthropic | 8,6% | 45% | 46% | 6,9% | 7,6% | 3,4% | 5,2% |
| anthropic-ai | Anthropic (antigo) | 7,4% | 44% | 46% | 5,6% | 5,6% | 2,4% | 4,5% |
| Google-Extended | Google (Gemini) | 7,7% | 44% | 45% | 5,9% | 5% | 2,7% | 4,4% |
| CCBot | Common Crawl | 9,4% | 4,7% | 4,9% | 8,6% | 8% | 3,1% | 5,4% |
| PerplexityBot | Perplexity | 5,1% | 43% | 44% | 3,4% | 4,2% | 2,1% | 2,3% |
| Bytespider | ByteDance | 9,1% | 4,4% | 4,6% | 7,1% | 8% | 3,4% | 6,7% |
| Applebot-Extended | Apple | 7,5% | 3,2% | 3,9% | 5,8% | 5,6% | 2,7% | 4,3% |
| Amazonbot | Amazon | 7,9% | 45% | 46% | 6,5% | 7% | 3,1% | 5,1% |
| meta-externalagent | Meta | 7,7% | 44% | 46% | 6,3% | 6,8% | 3,3% | 4,6% |
| cohere-ai | Cohere | 7,1% | 44% | 45% | 5,4% | 4,9% | 2,4% | 5,3% |
| Diffbot | Diffbot | 7% | 43% | 45% | 5,3% | 5% | 2,2% | 5,3% |
Percentual de sites cujo robots.txt bloqueia, pelo nome, o acesso do bot à página inicial.
Por mercado
| Métrica | Global | Países Baixos | Reino Unido | Itália | Espanha | Japão | América Latina |
|---|---|---|---|---|---|---|---|
| Bloqueia algum crawler de IA | 10% | 6,4% | 6% | 11% | 11% | 3,9% | 7% |
| Bloqueia o GPTBot | 9,6% | 45% | 47% | 7,4% | 8,2% | 3,7% | 5,5% |
| Bloqueia o ClaudeBot | 8,6% | 45% | 46% | 6,9% | 7,6% | 3,4% | 5,2% |
| Bloqueia o CCBot | 9,4% | 4,7% | 4,9% | 8,6% | 8% | 3,1% | 5,4% |
| Bloqueia o Google-Extended | 7,7% | 44% | 45% | 5,9% | 5% | 2,7% | 4,4% |
| Bloqueia o PerplexityBot | 5,1% | 43% | 44% | 3,4% | 4,2% | 2,1% | 2,3% |
| Content-Signal no robots.txt | 4,1% | 2% | 2,2% | 3,5% | 2,8% | 0,5% | 3,5% |
| llms.txt | 15% | 14% | 17% | 14% | 14% | 7,4% | 18% |
Bots de busca bloqueados
- 1Baiduspider53%7.373
- 2SeznamBot50%6.883
- 3Yeti50%6.865
- 4Sogou50%6.858
- 5Naverbot50%6.856
- 6DuckDuckBot49%6.817
- 7PetalBot4,5%623
- 8YandexBot3,9%537
- 9Applebot1,4%187
- 10Bingbot0,9%131
Percentual sobre 13.810 sites da amostra.
Bots de SEO bloqueados
- 1BLEXBot52%7.155
- 2Barkrowler51%6.983
- 3Screaming Frog SEO Spider50%6.884
- 4SiteAuditBot50%6.872
- 5MJ12bot5,5%755
- 6SemrushBot4,7%655
- 7AhrefsBot4,5%620
- 8DotBot3,9%539
- 9DataForSeoBot2,3%314
- 10rogerbot1,7%236
Percentual sobre 13.810 sites da amostra.
Nosso crawler: 8.580 sites · Países Baixos · atualizado em 23 de out. de 2026 · Metodologia
Muitos domínios, pouco tempo?
Revisamos todo o seu portfólio de domínios e corrigimos o DNS e a segurança de e-mail.