Aller au contenu
TLD.SCBoîte à outils domaines et URL
  1. Accueil
  2. Données
  3. Crawlers d'IA
8 376 sitesPays-Bas

Sites web qui bloquent les crawlers d'IA aux Pays-Bas

Les robots d'IA que les sites web bloquent dans leur robots.txt — GPTBot, ClaudeBot, CCBot, Google-Extended et d'autres.

6,7 %
Bloque un crawler d'IA
1 086 / 16 217
46 %
Bloque GPTBot
7 466 / 16 217
5,4 %
Bloque CCBot
874 / 16 217
45 %
Bloque Google-Extended
7 326 / 16 217

Crawlers d'IA bloqués dans le robots.txt

RobotOpérateurMondePays-BasRoyaume-UniItalieEspagneJaponAmérique latine
GPTBotOpenAI (entraînement)11 %46 %53 %9,7 %10 %4,4 %8,4 %
ChatGPT-UserOpenAI (requêtes des utilisateurs)4,9 %43 %49 %3,9 %5,3 %2,1 %2,4 %
OAI-SearchBotOpenAI (recherche)3,6 %42 %49 %3,4 %4,5 %2 %1,8 %
ClaudeBotAnthropic11 %46 %53 %9,4 %9,6 %4 %8,2 %
anthropic-aiAnthropic (ancien)9,6 %45 %52 %8,2 %8 %3 %7,4 %
Google-ExtendedGoogle (Gemini)9,7 %45 %52 %8,6 %7,5 %3,3 %7,5 %
CCBotCommon Crawl11 %5,4 %5,8 %9,6 %8,5 %3,7 %8,3 %
PerplexityBotPerplexity4,7 %42 %49 %4 %4,9 %2,1 %2,2 %
BytespiderByteDance11 %5,1 %5,5 %8,4 %8,4 %4 %8,7 %
Applebot-ExtendedApple9,6 %4,1 %4,9 %7,3 %6,4 %3,4 %7,4 %
AmazonbotAmazon9,9 %46 %52 %9 %9,3 %3,6 %8,1 %
meta-externalagentMeta9,8 %45 %52 %8,9 %9,1 %3,9 %7,7 %
cohere-aiCohere9,3 %45 %52 %8 %7,6 %3 %7,4 %
DiffbotDiffbot9,2 %45 %52 %8 %7,7 %2,8 %7,5 %

Part des sites dont le robots.txt interdit nommément la page d'accueil à ce robot.

Par marché

IndicateurMondePays-BasRoyaume-UniItalieEspagneJaponAmérique latine
Bloque un crawler d'IA12 %6,7 %6,5 %11 %11 %4,5 %8,9 %
Bloque GPTBot11 %46 %53 %9,7 %10 %4,4 %8,4 %
Bloque ClaudeBot11 %46 %53 %9,4 %9,6 %4 %8,2 %
Bloque CCBot11 %5,4 %5,8 %9,6 %8,5 %3,7 %8,3 %
Bloque Google-Extended9,7 %45 %52 %8,6 %7,5 %3,3 %7,5 %
Bloque PerplexityBot4,7 %42 %49 %4 %4,9 %2,1 %2,2 %
Content-Signal dans robots.txt6,8 %3,1 %3,7 %5,5 %4,2 %1,2 %6,7 %
llms.txt15 %11 %13 %12 %13 %5,9 %18 %

Robots de moteurs de recherche bloqués

  1. 1Baiduspider58 %7 385
  2. 2SeznamBot54 %6 771
  3. 3Yeti53 %6 754
  4. 4Naverbot53 %6 743
  5. 5Sogou53 %6 738
  6. 6DuckDuckBot53 %6 712
  7. 7PetalBot5,8 %738
  8. 8YandexBot3,2 %399
  9. 9Applebot1,3 %169
  10. 10Bingbot0,8 %104

Part des 12 639 sites de l'échantillon.

Robots SEO bloqués

  1. 1BLEXBot55 %6 969
  2. 2Barkrowler54 %6 847
  3. 3Screaming Frog SEO Spider54 %6 762
  4. 4SiteAuditBot53 %6 759
  5. 5MJ12bot4,6 %587
  6. 6SemrushBot4,1 %512
  7. 7AhrefsBot3,9 %488
  8. 8DotBot3,4 %426
  9. 9DataForSeoBot2 %254
  10. 10rogerbot1,4 %181

Part des 12 639 sites de l'échantillon.

Notre crawler : 8 376 sites · Pays-Bas · mis à jour le 13 nov. 2026 · Méthodologie

Beaucoup de domaines, peu de temps ?

Nous passons en revue tout votre portefeuille de domaines et corrigeons le DNS et la sécurité des e-mails.