Перейти к содержимому
TLD.SCИнструменты для доменов и URL
  1. Главная
  2. Данные
  3. ИИ-краулеры
8 376 сайтовНидерланды

Блокировка ИИ-краулеров на сайтах в Нидерландах

Каких ИИ-ботов сайты блокируют в robots.txt — GPTBot, ClaudeBot, CCBot, Google-Extended и других.

6,7 %
Блокирует ИИ-краулер
1 086 / 16 217
46 %
Блокирует GPTBot
7 466 / 16 217
5,4 %
Блокирует CCBot
874 / 16 217
45 %
Блокирует Google-Extended
7 326 / 16 217

ИИ-краулеры, заблокированные в robots.txt

КраулерВладелецВесь мирНидерландыВеликобританияИталияИспанияЯпонияЛатинская Америка
GPTBotOpenAI (обучение)11 %46 %53 %9,7 %10 %4,4 %8,4 %
ChatGPT-UserOpenAI (запросы пользователей)4,9 %43 %49 %3,9 %5,3 %2,1 %2,4 %
OAI-SearchBotOpenAI (поиск)3,6 %42 %49 %3,4 %4,5 %2 %1,8 %
ClaudeBotAnthropic11 %46 %53 %9,4 %9,6 %4 %8,2 %
anthropic-aiAnthropic (устаревший)9,6 %45 %52 %8,2 %8 %3 %7,4 %
Google-ExtendedGoogle (Gemini)9,7 %45 %52 %8,6 %7,5 %3,3 %7,5 %
CCBotCommon Crawl11 %5,4 %5,8 %9,6 %8,5 %3,7 %8,3 %
PerplexityBotPerplexity4,7 %42 %49 %4 %4,9 %2,1 %2,2 %
BytespiderByteDance11 %5,1 %5,5 %8,4 %8,4 %4 %8,7 %
Applebot-ExtendedApple9,6 %4,1 %4,9 %7,3 %6,4 %3,4 %7,4 %
AmazonbotAmazon9,9 %46 %52 %9 %9,3 %3,6 %8,1 %
meta-externalagentMeta9,8 %45 %52 %8,9 %9,1 %3,9 %7,7 %
cohere-aiCohere9,3 %45 %52 %8 %7,6 %3 %7,4 %
DiffbotDiffbot9,2 %45 %52 %8 %7,7 %2,8 %7,5 %

Доля сайтов, чей robots.txt по имени закрывает боту доступ к главной странице.

По рынкам

ПоказательВесь мирНидерландыВеликобританияИталияИспанияЯпонияЛатинская Америка
Блокирует ИИ-краулер12 %6,7 %6,5 %11 %11 %4,5 %8,9 %
Блокирует GPTBot11 %46 %53 %9,7 %10 %4,4 %8,4 %
Блокирует ClaudeBot11 %46 %53 %9,4 %9,6 %4 %8,2 %
Блокирует CCBot11 %5,4 %5,8 %9,6 %8,5 %3,7 %8,3 %
Блокирует Google-Extended9,7 %45 %52 %8,6 %7,5 %3,3 %7,5 %
Блокирует PerplexityBot4,7 %42 %49 %4 %4,9 %2,1 %2,2 %
Content-Signal в robots.txt6,8 %3,1 %3,7 %5,5 %4,2 %1,2 %6,7 %
llms.txt15 %11 %13 %12 %13 %5,9 %18 %

Заблокированные поисковые боты

  1. 1Baiduspider58 %7 385
  2. 2SeznamBot54 %6 771
  3. 3Yeti53 %6 754
  4. 4Naverbot53 %6 743
  5. 5Sogou53 %6 738
  6. 6DuckDuckBot53 %6 712
  7. 7PetalBot5,8 %738
  8. 8YandexBot3,2 %399
  9. 9Applebot1,3 %169
  10. 10Bingbot0,8 %104

Доля от всех сайтов выборки (12 639).

Заблокированные SEO-боты

  1. 1BLEXBot55 %6 969
  2. 2Barkrowler54 %6 847
  3. 3Screaming Frog SEO Spider54 %6 762
  4. 4SiteAuditBot53 %6 759
  5. 5MJ12bot4,6 %587
  6. 6SemrushBot4,1 %512
  7. 7AhrefsBot3,9 %488
  8. 8DotBot3,4 %426
  9. 9DataForSeoBot2 %254
  10. 10rogerbot1,4 %181

Доля от всех сайтов выборки (12 639).

Наш краулер: Сайтов: 8 376 · Нидерланды · обновлено 13 нояб. 2026 г. · Методология

Доменов много, а времени мало?

Проверим весь ваш портфель доменов и исправим настройки DNS и защиты почты.