- Startseite
- Daten
- KI-Crawler
8.580 WebsitesNiederlande
Welche Websites in den Niederlanden KI-Crawler blockieren
Welche KI-Bots Websites in robots.txt blockieren – GPTBot, ClaudeBot, CCBot, Google-Extended und andere.
6,4 %
Blockiert einen KI-Crawler
1.053 / 16.474
45 %
Blockiert GPTBot
7.449 / 16.474
4,7 %
Blockiert CCBot
767 / 16.474
44 %
Blockiert Google-Extended
7.295 / 16.474
In robots.txt blockierte KI-Crawler
| Crawler | Betreiber | Weltweit | Niederlande | Vereinigtes Königreich | Italien | Spanien | Japan | Lateinamerika |
|---|---|---|---|---|---|---|---|---|
| GPTBot | OpenAI (Training) | 9,6 % | 45 % | 47 % | 7,4 % | 8,2 % | 3,7 % | 5,5 % |
| ChatGPT-User | OpenAI (Abruf durch Nutzer) | 5,2 % | 43 % | 44 % | 3,3 % | 4,6 % | 2,3 % | 2,3 % |
| OAI-SearchBot | OpenAI (Suche) | 4 % | 42 % | 44 % | 2,6 % | 3,6 % | 2,2 % | 1,8 % |
| ClaudeBot | Anthropic | 8,6 % | 45 % | 46 % | 6,9 % | 7,6 % | 3,4 % | 5,2 % |
| anthropic-ai | Anthropic (veraltet) | 7,4 % | 44 % | 46 % | 5,6 % | 5,6 % | 2,4 % | 4,5 % |
| Google-Extended | Google (Gemini) | 7,7 % | 44 % | 45 % | 5,9 % | 5 % | 2,7 % | 4,4 % |
| CCBot | Common Crawl | 9,4 % | 4,7 % | 4,9 % | 8,6 % | 8 % | 3,1 % | 5,4 % |
| PerplexityBot | Perplexity | 5,1 % | 43 % | 44 % | 3,4 % | 4,2 % | 2,1 % | 2,3 % |
| Bytespider | ByteDance | 9,1 % | 4,4 % | 4,6 % | 7,1 % | 8 % | 3,4 % | 6,7 % |
| Applebot-Extended | Apple | 7,5 % | 3,2 % | 3,9 % | 5,8 % | 5,6 % | 2,7 % | 4,3 % |
| Amazonbot | Amazon | 7,9 % | 45 % | 46 % | 6,5 % | 7 % | 3,1 % | 5,1 % |
| meta-externalagent | Meta | 7,7 % | 44 % | 46 % | 6,3 % | 6,8 % | 3,3 % | 4,6 % |
| cohere-ai | Cohere | 7,1 % | 44 % | 45 % | 5,4 % | 4,9 % | 2,4 % | 5,3 % |
| Diffbot | Diffbot | 7 % | 43 % | 45 % | 5,3 % | 5 % | 2,2 % | 5,3 % |
Anteil der Websites, deren robots.txt den Bot namentlich von der Startseite aussperrt.
Nach Markt
| Kennzahl | Weltweit | Niederlande | Vereinigtes Königreich | Italien | Spanien | Japan | Lateinamerika |
|---|---|---|---|---|---|---|---|
| Blockiert einen KI-Crawler | 10 % | 6,4 % | 6 % | 11 % | 11 % | 3,9 % | 7 % |
| Blockiert GPTBot | 9,6 % | 45 % | 47 % | 7,4 % | 8,2 % | 3,7 % | 5,5 % |
| Blockiert ClaudeBot | 8,6 % | 45 % | 46 % | 6,9 % | 7,6 % | 3,4 % | 5,2 % |
| Blockiert CCBot | 9,4 % | 4,7 % | 4,9 % | 8,6 % | 8 % | 3,1 % | 5,4 % |
| Blockiert Google-Extended | 7,7 % | 44 % | 45 % | 5,9 % | 5 % | 2,7 % | 4,4 % |
| Blockiert PerplexityBot | 5,1 % | 43 % | 44 % | 3,4 % | 4,2 % | 2,1 % | 2,3 % |
| Content-Signal in robots.txt | 4,1 % | 2 % | 2,2 % | 3,5 % | 2,8 % | 0,5 % | 3,5 % |
| llms.txt | 15 % | 14 % | 17 % | 14 % | 14 % | 7,4 % | 18 % |
Blockierte Suchmaschinen-Bots
- 1Baiduspider53 %7.373
- 2SeznamBot50 %6.883
- 3Yeti50 %6.865
- 4Sogou50 %6.858
- 5Naverbot50 %6.856
- 6DuckDuckBot49 %6.817
- 7PetalBot4,5 %623
- 8YandexBot3,9 %537
- 9Applebot1,4 %187
- 10Bingbot0,9 %131
Anteil bezogen auf 13.810 Websites der Stichprobe.
Blockierte SEO-Bots
- 1BLEXBot52 %7.155
- 2Barkrowler51 %6.983
- 3Screaming Frog SEO Spider50 %6.884
- 4SiteAuditBot50 %6.872
- 5MJ12bot5,5 %755
- 6SemrushBot4,7 %655
- 7AhrefsBot4,5 %620
- 8DotBot3,9 %539
- 9DataForSeoBot2,3 %314
- 10rogerbot1,7 %236
Anteil bezogen auf 13.810 Websites der Stichprobe.
Unser Crawler: 8.580 Websites · Niederlande · Stand: 23.10.2026 · Methodik
Viele Domains, wenig Zeit?
Wir prüfen dein gesamtes Domain-Portfolio und bringen DNS und E-Mail-Sicherheit in Ordnung.