Direct naar inhoud
TLD.SCDomein- & URL-toolkit
  1. Home
  2. Cijfers
  3. AI-crawlers
8.376 sitesNederland

AI-crawlers blokkeren in Nederland: GPTBot in robots.txt

Welke AI-bots websites blokkeren in robots.txt — GPTBot, ClaudeBot, CCBot, Google-Extended en andere.

6,7 %
Blokkeert een AI-crawler
1.086 / 16.217
46 %
Blokkeert GPTBot
7.466 / 16.217
5,4 %
Blokkeert CCBot
874 / 16.217
45 %
Blokkeert Google-Extended
7.326 / 16.217

AI-crawlers geblokkeerd in robots.txt

CrawlerBeheerderWereldwijdNederlandVerenigd KoninkrijkItaliëSpanjeJapanLatijns-Amerika
GPTBotOpenAI (training)11 %46 %53 %9,7 %10 %4,4 %8,4 %
ChatGPT-UserOpenAI (ophalen voor gebruiker)4,9 %43 %49 %3,9 %5,3 %2,1 %2,4 %
OAI-SearchBotOpenAI (zoeken)3,6 %42 %49 %3,4 %4,5 %2 %1,8 %
ClaudeBotAnthropic11 %46 %53 %9,4 %9,6 %4 %8,2 %
anthropic-aiAnthropic (verouderd)9,6 %45 %52 %8,2 %8 %3 %7,4 %
Google-ExtendedGoogle (Gemini)9,7 %45 %52 %8,6 %7,5 %3,3 %7,5 %
CCBotCommon Crawl11 %5,4 %5,8 %9,6 %8,5 %3,7 %8,3 %
PerplexityBotPerplexity4,7 %42 %49 %4 %4,9 %2,1 %2,2 %
BytespiderByteDance11 %5,1 %5,5 %8,4 %8,4 %4 %8,7 %
Applebot-ExtendedApple9,6 %4,1 %4,9 %7,3 %6,4 %3,4 %7,4 %
AmazonbotAmazon9,9 %46 %52 %9 %9,3 %3,6 %8,1 %
meta-externalagentMeta9,8 %45 %52 %8,9 %9,1 %3,9 %7,7 %
cohere-aiCohere9,3 %45 %52 %8 %7,6 %3 %7,4 %
DiffbotDiffbot9,2 %45 %52 %8 %7,7 %2,8 %7,5 %

Aandeel sites waarvan de robots.txt de bot bij naam weert van de homepage.

Per markt

MetingWereldwijdNederlandVerenigd KoninkrijkItaliëSpanjeJapanLatijns-Amerika
Blokkeert een AI-crawler12 %6,7 %6,5 %11 %11 %4,5 %8,9 %
Blokkeert GPTBot11 %46 %53 %9,7 %10 %4,4 %8,4 %
Blokkeert ClaudeBot11 %46 %53 %9,4 %9,6 %4 %8,2 %
Blokkeert CCBot11 %5,4 %5,8 %9,6 %8,5 %3,7 %8,3 %
Blokkeert Google-Extended9,7 %45 %52 %8,6 %7,5 %3,3 %7,5 %
Blokkeert PerplexityBot4,7 %42 %49 %4 %4,9 %2,1 %2,2 %
Content-Signal in robots.txt6,8 %3,1 %3,7 %5,5 %4,2 %1,2 %6,7 %
llms.txt15 %11 %13 %12 %13 %5,9 %18 %

Geblokkeerde zoekbots

  1. 1Baiduspider58 %7.385
  2. 2SeznamBot54 %6.771
  3. 3Yeti53 %6.754
  4. 4Naverbot53 %6.743
  5. 5Sogou53 %6.738
  6. 6DuckDuckBot53 %6.712
  7. 7PetalBot5,8 %738
  8. 8YandexBot3,2 %399
  9. 9Applebot1,3 %169
  10. 10Bingbot0,8 %104

Aandeel van 12.639 sites in de steekproef.

Geblokkeerde SEO-bots

  1. 1BLEXBot55 %6.969
  2. 2Barkrowler54 %6.847
  3. 3Screaming Frog SEO Spider54 %6.762
  4. 4SiteAuditBot53 %6.759
  5. 5MJ12bot4,6 %587
  6. 6SemrushBot4,1 %512
  7. 7AhrefsBot3,9 %488
  8. 8DotBot3,4 %426
  9. 9DataForSeoBot2 %254
  10. 10rogerbot1,4 %181

Aandeel van 12.639 sites in de steekproef.

Onze crawler: 8.376 sites · Nederland · bijgewerkt 13 nov 2026 · Methode

Veel domeinen, weinig tijd?

We controleren je hele domeinportfolio en zetten DNS en e-mailbeveiliging goed.