6,4 %
Blocca un crawler AI
1.075 / 16.705
47 %
Blocca GPTBot
7.906 / 16.705
4,9 %
Blocca CCBot
818 / 16.705
46 %
Blocca Google-Extended
7.759 / 16.705
Crawler AI bloccati in robots.txt
| Crawler | Gestore | Globale | Paesi Bassi | Regno Unito | Italia | Spagna | Giappone | America Latina |
|---|---|---|---|---|---|---|---|---|
| GPTBot | OpenAI (addestramento) | 9,6 % | 47 % | 52 % | 8,4 % | 9,6 % | 3,7 % | 6,1 % |
| ChatGPT-User | OpenAI (richieste degli utenti) | 5,1 % | 44 % | 49 % | 3,7 % | 4,9 % | 2,1 % | 2,4 % |
| OAI-SearchBot | OpenAI (ricerca) | 3,8 % | 44 % | 48 % | 3,1 % | 4,1 % | 2 % | 1,9 % |
| ClaudeBot | Anthropic | 8,7 % | 47 % | 51 % | 8 % | 9,3 % | 3,3 % | 5,9 % |
| anthropic-ai | Anthropic (vecchio) | 7,6 % | 46 % | 51 % | 6,8 % | 7,5 % | 2,3 % | 5,2 % |
| Google-Extended | Google (Gemini) | 7,8 % | 46 % | 50 % | 7,2 % | 7 % | 2,6 % | 5,2 % |
| CCBot | Common Crawl | 9,4 % | 4,9 % | 4,9 % | 8,6 % | 8,4 % | 3 % | 6 % |
| PerplexityBot | Perplexity | 5 % | 44 % | 49 % | 3,8 % | 4,6 % | 2 % | 2,3 % |
| Bytespider | ByteDance | 9,2 % | 4,6 % | 4,6 % | 7,3 % | 8,5 % | 3,3 % | 6,5 % |
| Applebot-Extended | Apple | 7,7 % | 3,5 % | 4 % | 6,2 % | 6,4 % | 2,7 % | 5,1 % |
| Amazonbot | Amazon | 8 % | 47 % | 51 % | 7,6 % | 8,9 % | 3 % | 5,9 % |
| meta-externalagent | Meta | 7,9 % | 47 % | 51 % | 7,5 % | 8,6 % | 3,2 % | 5,4 % |
| cohere-ai | Cohere | 7,3 % | 46 % | 50 % | 6,7 % | 7 % | 2,3 % | 5,1 % |
| Diffbot | Diffbot | 7,2 % | 46 % | 50 % | 6,6 % | 7,1 % | 2,1 % | 5,2 % |
Quota di siti il cui robots.txt blocca il bot per nome sulla homepage.
Per mercato
| Metrica | Globale | Paesi Bassi | Regno Unito | Italia | Spagna | Giappone | America Latina |
|---|---|---|---|---|---|---|---|
| Blocca un crawler AI | 10 % | 6,4 % | 5,7 % | 10 % | 11 % | 3,8 % | 6,7 % |
| Blocca GPTBot | 9,6 % | 47 % | 52 % | 8,4 % | 9,6 % | 3,7 % | 6,1 % |
| Blocca ClaudeBot | 8,7 % | 47 % | 51 % | 8 % | 9,3 % | 3,3 % | 5,9 % |
| Blocca CCBot | 9,4 % | 4,9 % | 4,9 % | 8,6 % | 8,4 % | 3 % | 6 % |
| Blocca Google-Extended | 7,8 % | 46 % | 50 % | 7,2 % | 7 % | 2,6 % | 5,2 % |
| Blocca PerplexityBot | 5 % | 44 % | 49 % | 3,8 % | 4,6 % | 2 % | 2,3 % |
| Content-Signal in robots.txt | 4,5 % | 2,5 % | 2,7 % | 4,4 % | 4,1 % | 0,6 % | 4,2 % |
| llms.txt | 15 % | 13 % | 16 % | 14 % | 13 % | 7 % | 19 % |
Bot dei motori di ricerca bloccati
- 1Baiduspider57 %7.822
- 2SeznamBot53 %7.281
- 3Yeti53 %7.263
- 4Naverbot53 %7.251
- 5Sogou53 %7.249
- 6DuckDuckBot53 %7.219
- 7PetalBot4,9 %667
- 8YandexBot3,3 %447
- 9Applebot1,3 %176
- 10Bingbot0,8 %112
Quota su 13.698 siti del campione.
Bot SEO bloccati
- 1BLEXBot55 %7.511
- 2Barkrowler54 %7.368
- 3Screaming Frog SEO Spider53 %7.277
- 4SiteAuditBot53 %7.267
- 5MJ12bot4,8 %657
- 6SemrushBot4,2 %574
- 7AhrefsBot4 %547
- 8DotBot3,5 %480
- 9DataForSeoBot2 %272
- 10rogerbot1,5 %201
Quota su 13.698 siti del campione.
Il nostro crawler: 8.427 siti · Paesi Bassi · aggiornato il 12 nov 2026 · Metodologia
Tanti domini, poco tempo?
Esaminiamo tutto il tuo portafoglio di domini e sistemiamo DNS e sicurezza e-mail.