Zum Inhalt springen
TLD.SCTools für Domains & URLs
  1. Startseite
  2. Daten
  3. KI-Crawler
8.376 WebsitesNiederlande

Welche Websites in den Niederlanden KI-Crawler blockieren

Welche KI-Bots Websites in robots.txt blockieren – GPTBot, ClaudeBot, CCBot, Google-Extended und andere.

6,7 %
Blockiert einen KI-Crawler
1.086 / 16.217
46 %
Blockiert GPTBot
7.466 / 16.217
5,4 %
Blockiert CCBot
874 / 16.217
45 %
Blockiert Google-Extended
7.326 / 16.217

In robots.txt blockierte KI-Crawler

CrawlerBetreiberWeltweitNiederlandeVereinigtes KönigreichItalienSpanienJapanLateinamerika
GPTBotOpenAI (Training)11 %46 %53 %9,7 %10 %4,4 %8,4 %
ChatGPT-UserOpenAI (Abruf durch Nutzer)4,9 %43 %49 %3,9 %5,3 %2,1 %2,4 %
OAI-SearchBotOpenAI (Suche)3,6 %42 %49 %3,4 %4,5 %2 %1,8 %
ClaudeBotAnthropic11 %46 %53 %9,4 %9,6 %4 %8,2 %
anthropic-aiAnthropic (veraltet)9,6 %45 %52 %8,2 %8 %3 %7,4 %
Google-ExtendedGoogle (Gemini)9,7 %45 %52 %8,6 %7,5 %3,3 %7,5 %
CCBotCommon Crawl11 %5,4 %5,8 %9,6 %8,5 %3,7 %8,3 %
PerplexityBotPerplexity4,7 %42 %49 %4 %4,9 %2,1 %2,2 %
BytespiderByteDance11 %5,1 %5,5 %8,4 %8,4 %4 %8,7 %
Applebot-ExtendedApple9,6 %4,1 %4,9 %7,3 %6,4 %3,4 %7,4 %
AmazonbotAmazon9,9 %46 %52 %9 %9,3 %3,6 %8,1 %
meta-externalagentMeta9,8 %45 %52 %8,9 %9,1 %3,9 %7,7 %
cohere-aiCohere9,3 %45 %52 %8 %7,6 %3 %7,4 %
DiffbotDiffbot9,2 %45 %52 %8 %7,7 %2,8 %7,5 %

Anteil der Websites, deren robots.txt den Bot namentlich von der Startseite aussperrt.

Nach Markt

KennzahlWeltweitNiederlandeVereinigtes KönigreichItalienSpanienJapanLateinamerika
Blockiert einen KI-Crawler12 %6,7 %6,5 %11 %11 %4,5 %8,9 %
Blockiert GPTBot11 %46 %53 %9,7 %10 %4,4 %8,4 %
Blockiert ClaudeBot11 %46 %53 %9,4 %9,6 %4 %8,2 %
Blockiert CCBot11 %5,4 %5,8 %9,6 %8,5 %3,7 %8,3 %
Blockiert Google-Extended9,7 %45 %52 %8,6 %7,5 %3,3 %7,5 %
Blockiert PerplexityBot4,7 %42 %49 %4 %4,9 %2,1 %2,2 %
Content-Signal in robots.txt6,8 %3,1 %3,7 %5,5 %4,2 %1,2 %6,7 %
llms.txt15 %11 %13 %12 %13 %5,9 %18 %

Blockierte Suchmaschinen-Bots

  1. 1Baiduspider58 %7.385
  2. 2SeznamBot54 %6.771
  3. 3Yeti53 %6.754
  4. 4Naverbot53 %6.743
  5. 5Sogou53 %6.738
  6. 6DuckDuckBot53 %6.712
  7. 7PetalBot5,8 %738
  8. 8YandexBot3,2 %399
  9. 9Applebot1,3 %169
  10. 10Bingbot0,8 %104

Anteil bezogen auf 12.639 Websites der Stichprobe.

Blockierte SEO-Bots

  1. 1BLEXBot55 %6.969
  2. 2Barkrowler54 %6.847
  3. 3Screaming Frog SEO Spider54 %6.762
  4. 4SiteAuditBot53 %6.759
  5. 5MJ12bot4,6 %587
  6. 6SemrushBot4,1 %512
  7. 7AhrefsBot3,9 %488
  8. 8DotBot3,4 %426
  9. 9DataForSeoBot2 %254
  10. 10rogerbot1,4 %181

Anteil bezogen auf 12.639 Websites der Stichprobe.

Unser Crawler: 8.376 Websites · Niederlande · Stand: 13.11.2026 · Methodik

Viele Domains, wenig Zeit?

Wir prüfen dein gesamtes Domain-Portfolio und bringen DNS und E-Mail-Sicherheit in Ordnung.