Pular para o conteúdo
TLD.SCFerramentas para domínios e URLs
  1. Início
  2. Dados
  3. Crawlers de IA
8.376 sitesPaíses Baixos

Sites que bloqueiam crawlers de IA nos Países Baixos

Quais bots de IA os sites bloqueiam no robots.txt — GPTBot, ClaudeBot, CCBot, Google-Extended e outros.

6,7%
Bloqueia algum crawler de IA
1.086 / 16.217
46%
Bloqueia o GPTBot
7.466 / 16.217
5,4%
Bloqueia o CCBot
874 / 16.217
45%
Bloqueia o Google-Extended
7.326 / 16.217

Crawlers de IA bloqueados no robots.txt

CrawlerOperadorGlobalPaíses BaixosReino UnidoItáliaEspanhaJapãoAmérica Latina
GPTBotOpenAI (treinamento)11%46%53%9,7%10%4,4%8,4%
ChatGPT-UserOpenAI (a pedido do usuário)4,9%43%49%3,9%5,3%2,1%2,4%
OAI-SearchBotOpenAI (busca)3,6%42%49%3,4%4,5%2%1,8%
ClaudeBotAnthropic11%46%53%9,4%9,6%4%8,2%
anthropic-aiAnthropic (antigo)9,6%45%52%8,2%8%3%7,4%
Google-ExtendedGoogle (Gemini)9,7%45%52%8,6%7,5%3,3%7,5%
CCBotCommon Crawl11%5,4%5,8%9,6%8,5%3,7%8,3%
PerplexityBotPerplexity4,7%42%49%4%4,9%2,1%2,2%
BytespiderByteDance11%5,1%5,5%8,4%8,4%4%8,7%
Applebot-ExtendedApple9,6%4,1%4,9%7,3%6,4%3,4%7,4%
AmazonbotAmazon9,9%46%52%9%9,3%3,6%8,1%
meta-externalagentMeta9,8%45%52%8,9%9,1%3,9%7,7%
cohere-aiCohere9,3%45%52%8%7,6%3%7,4%
DiffbotDiffbot9,2%45%52%8%7,7%2,8%7,5%

Percentual de sites cujo robots.txt bloqueia, pelo nome, o acesso do bot à página inicial.

Por mercado

MétricaGlobalPaíses BaixosReino UnidoItáliaEspanhaJapãoAmérica Latina
Bloqueia algum crawler de IA12%6,7%6,5%11%11%4,5%8,9%
Bloqueia o GPTBot11%46%53%9,7%10%4,4%8,4%
Bloqueia o ClaudeBot11%46%53%9,4%9,6%4%8,2%
Bloqueia o CCBot11%5,4%5,8%9,6%8,5%3,7%8,3%
Bloqueia o Google-Extended9,7%45%52%8,6%7,5%3,3%7,5%
Bloqueia o PerplexityBot4,7%42%49%4%4,9%2,1%2,2%
Content-Signal no robots.txt6,8%3,1%3,7%5,5%4,2%1,2%6,7%
llms.txt15%11%13%12%13%5,9%18%

Bots de busca bloqueados

  1. 1Baiduspider58%7.385
  2. 2SeznamBot54%6.771
  3. 3Yeti53%6.754
  4. 4Naverbot53%6.743
  5. 5Sogou53%6.738
  6. 6DuckDuckBot53%6.712
  7. 7PetalBot5,8%738
  8. 8YandexBot3,2%399
  9. 9Applebot1,3%169
  10. 10Bingbot0,8%104

Percentual sobre 12.639 sites da amostra.

Bots de SEO bloqueados

  1. 1BLEXBot55%6.969
  2. 2Barkrowler54%6.847
  3. 3Screaming Frog SEO Spider54%6.762
  4. 4SiteAuditBot53%6.759
  5. 5MJ12bot4,6%587
  6. 6SemrushBot4,1%512
  7. 7AhrefsBot3,9%488
  8. 8DotBot3,4%426
  9. 9DataForSeoBot2%254
  10. 10rogerbot1,4%181

Percentual sobre 12.639 sites da amostra.

Nosso crawler: 8.376 sites · Países Baixos · atualizado em 13 de nov. de 2026 · Metodologia

Muitos domínios, pouco tempo?

Revisamos todo o seu portfólio de domínios e corrigimos o DNS e a segurança de e-mail.