- Главная
- Методология
Как мы измеряем
Каждая цифра на этом сайте получена нашим собственным краулером. Вот что он делает и где его ограничения.
Выборки
| Рынок | Правило | Сайты | Обойдено | Главная страница обработана |
|---|---|---|---|---|
| Весь мир | Топ-25 000 списка Tranco | 100 000 | 100 000 | 68 769 |
| Нидерланды | Топ доменов .nl | 17 114 | 17 114 | 8 580 |
| Япония | Топ доменов .jp | 16 717 | 16 717 | 12 114 |
| Италия | Топ доменов .it | 15 096 | 15 096 | 7 546 |
| Великобритания | Топ доменов .uk | 27 305 | 27 305 | 11 909 |
| Испания | Домены .es | 5 582 | 5 582 | 4 497 |
| Латинская Америка | .mx .ar .cl .pe .uy .com.co … и топ .br | 27 231 | 27 231 | 20 254 |
Что мы проверяем на каждом сайте
- DNS: A/AAAA, NS, MX, TXT (SPF и подтверждения SaaS), DMARC, CAA, DNSSEC, BIMI, MTA-STS.
- TLS: удостоверяющий центр, срок действия, версия протокола — через прямое TLS-рукопожатие.
- Главная страница: технологии (500 сигнатур), SEO-теги, Schema.org, вес страницы, сторонние сервисы.
- Заголовки ответа: заголовки безопасности, сжатие, версия HTTP, cookie.
- robots.txt (в том числе правила для ИИ-краулеров), sitemap.xml, llms.txt, security.txt, ads.txt.
- Один запрос на сайт и файл; robots.txt соблюдается; проверки на ботов фиксируются, но не обходятся.
Источники
Tranco746PX
Дата21 окт. 2026 г.
IANA1 437 TLD
Списки: Tranco (исследовательский рейтинг популярных доменов), корневая зона IANA, Public Suffix List, iptoasn.com.