тенур войти
срез? 17 сентября 2026 · .рф

Статистика рунета

Что стоит на сайтах зон .ru, .рф и .su — по собственному обходу каждого сайта, а не по выборке. Движки, серверы, HTTPS, хостинг, тематика, регионы, вёрстка, ошибки, роботы ИИ — с числом, долей и объяснением, как это посчитано.

сайтов с профилем 29 513 из 690 382 хостов, у которых есть адрес в DNS
5 %живые сайты
20 %HTTPS
23 %адаптивная вёрстка

Что успела измерить перепись

У каждого показателя своя база: доля движков считается от сайтов с профилем, доля HTTPS — от ответивших по HTTP, доля адаптивной вёрстки — от прошедших глубокий разбор. Знаменатель написан рядом с каждым графиком, потому что без него процент ничего не значит.

Первый проход зоны ещё идёт: цифры растут каждую ночь, а доли устаканиваются по мере того, как обход доходит до хвоста реестра.

690 382хостов резолвится у имени есть адрес в DNS — сайт теоретически можно открыть
29 513сайтов с профилем 100,0 % от сайтов с профилем
25 074ответили по HTTP 85,0 % от сайтов с профилем
5 039с сертификатом 17,1 % от сайтов с профилем
22 418с фактами о странице 76,0 % от сайтов с профилем
20 053с глубоким разбором 67,9 % от сайтов с профилем
1 205с тематикой 4,1 % от сайтов с профилем
1 165с регионом 3,9 % от сайтов с профилем
1 435с robots.txt 4,9 % от сайтов с профилем
33 961сверены со списками домены, проверенные по публичным спискам блокировок
1 / 14

Живые сайты и заглушки

Ответ по HTTP ещё не значит, что там есть сайт. Заглушку истёкшей регистрации, парковку регистратора, страницу хостинга «сайт не настроен» и пустой ответ перепись отличает от настоящего сайта по содержимому, а не по коду ответа: код 200 у них у всех.

  • Из 25 074 ответивших по HTTP живой сайт — у 1 230 (4,9 %). Остальное — заглушки: страницы, за которыми нет сайта.
  • Самая частая — «истёкшая регистрация»: 14 186 доменов (56,6 %). Домен куплен, срок вышел, регистратор поставил свою страницу.
  • Среди живых чаще всего встречается тип «корпоративный» — 741 сайт; магазинов — 137, лендингов — 315.
что отвечает домен · от 25 074
истёкшая регистрация 14 186 · 56,6 %
ошибка сервера 5 853 · 23,3 %
парковка хостера 1 396 · 5,6 %
живой сайт 1 230 · 4,9 %
«домен продаётся» 609 · 2,4 %
пустая страница 413 · 1,6 %
ошибка 4xx 352 · 1,4 %
парковка REG.RU 335 · 1,3 %
«сайт в разработке» 217 · 0,9 %

от ответивших по HTTP; «живой сайт» — первая строка

таблицей
значениесайтовдоля
истёкшая регистрация14 18656,6 %
ошибка сервера5 85323,3 %
парковка хостера1 3965,6 %
живой сайт1 2304,9 %
«домен продаётся»6092,4 %
пустая страница4131,6 %
ошибка 4xx3521,4 %
парковка REG.RU3351,3 %
«сайт в разработке»2170,9 %
типы сайтов · от 29 513
истёкший 15 581 · 52,8 %
заглушка 10 262 · 34,8 %
парковка 2 344 · 7,9 %
лендинг 315 · 1,1 %
магазин 137 · 0,5 %
СМИ / медиа 25 · 0,1 %
блог 12 · 0,0 %

тип определяется по содержимому главной

таблицей
значениесайтовдоля
истёкший15 58152,8 %
заглушка10 26234,8 %
парковка2 3447,9 %
корпоративный7412,5 %
лендинг3151,1 %
магазин1370,5 %
заблокирован910,3 %
СМИ / медиа250,1 %
блог120,0 %
2 / 14

Движки сайтов

Сайт не говорит, на чём он сделан, — это видно по следам: путям вида /bitrix/ или /wp-content/, именам кук, заголовкам ответа, meta generator. Движок называется, когда совпало несколько признаков; один спорный — не называется. «Не определён» значит именно это, а не «самописный».

  • Движок опознан у 2 510 сайтов из 29 513 с профилем — 8,5 %. У остальных его нет или он не оставляет следов: большая часть «не определён» — заглушки и парковки без движка вовсе.
  • Next.js — 1 029 сайтов, 41,0 % от опознанных.
  • Следом Tilda (637) и Craftum (338).
движки — по числу сайтов · от 29 513
Next.js 1 029 · 3,5 %
Tilda 637 · 2,2 %
Craftum 338 · 1,1 %
WordPress 216 · 0,7 %
Nethouse 59 · 0,2 %
1C-Bitrix 56 · 0,2 %
Nuxt.js 46 · 0,2 %
Joomla 36 · 0,1 %
OpenCart 10 · 0,0 %
MODX 9 · 0,0 %

доля — от всех сайтов с профилем; не определён — 27 003 (91,5 %)

таблицей
значениесайтовдоля
Next.js1 0293,5 %
Tilda6372,2 %
Craftum3381,1 %
WordPress2160,7 %
Nethouse590,2 %
1C-Bitrix560,2 %
Nuxt.js460,2 %
Joomla360,1 %
OpenCart100,0 %
MODX90,0 %
не определён27 00391,5 %
3 / 14

Технологии

Отпечатки технологий — по открытой базе (webappanalyzer) плюс сигнатуры рунета: скрипты, заголовки, куки, ссылки. Категории — те же технологии, сложенные по назначению: серверы, удостоверяющие центры, аналитика, библиотеки, шрифты.

  • Чаще всего у сайта виден Nginx — 18 956 сайтов, 64,2 %.
  • jQuery по-прежнему на 2 493 сайтах (8,4 %) — фронтенд рунета старше, чем принято думать.
  • Яндекс Метрика стоит на 5 240 сайтах (17,8 %); счётчик — самый частый способ понять, что сайт вообще кто-то ведёт.
технологии · от 29 513
Nginx 18 956 · 64,2 %
HSTS 5 539 · 18,8 %
Yandex.Metrika 5 240 · 17,8 %
React 5 096 · 17,3 %
Open Graph 4 124 · 14,0 %
Google Fonts 3 331 · 11,3 %
Google Font API 3 311 · 11,2 %
jQuery 2 493 · 8,4 %
Let's Encrypt 2 117 · 7,2 %
Bootstrap 2 041 · 6,9 %
Priority Hints 1 657 · 5,6 %

один сайт может быть в нескольких строках

таблицей
значениесайтовдоля
Nginx18 95664,2 %
РСЯ (Яндекс Реклама)5 95220,2 %
HSTS5 53918,8 %
Yandex.Metrika5 24017,8 %
React5 09617,3 %
Open Graph4 12414,0 %
Google Fonts3 33111,3 %
Google Font API3 31111,2 %
jQuery2 4938,4 %
Let's Encrypt2 1177,2 %
Bootstrap2 0416,9 %
Priority Hints1 6575,6 %
категории технологий · от 29 513
Веб-серверы 20 192 · 68,4 %
Реклама 5 955 · 20,2 %
Защита и анти-бот 5 825 · 19,7 %
Аналитика и счётчики 5 360 · 18,2 %
JS-фреймворки 5 334 · 18,1 %
Разное 4 388 · 14,9 %
Шрифты 3 545 · 12,0 %
JS-библиотеки 3 459 · 11,7 %

сайты с хотя бы одной технологией категории

таблицей
значениесайтовдоля
Веб-серверы20 19268,4 %
Реклама5 95520,2 %
Защита и анти-бот5 82519,7 %
Аналитика и счётчики5 36018,2 %
JS-фреймворки5 33418,1 %
Разное4 38814,9 %
Шрифты3 54512,0 %
JS-библиотеки3 45911,7 %
4 / 14

Веб-серверы, CDN и защита

Имя сервера — из заголовка Server ответа; за CDN виден он, а не сервер сайта. CDN и анти-DDoS узнаются по адресу, заголовкам и куки: DDoS-Guard, Cloudflare, Qrator, Variti. Это то, что сайт показывает любому браузеру, — ничего сверх.

  • nginx отдаёт 20 626 сайтов — 82,3 % ответивших.
  • За CDN или анти-DDoS стоят 1 686 сайтов (6,7 %); остальные отвечают сами.
веб-серверы · от 25 074
nginx 20 626 · 82,3 %
Qrator 1 348 · 5,4 %
Apache 1 192 · 4,8 %
194.67.72.31 300 · 1,2 %
OpenResty 279 · 1,1 %
lighttpd 230 · 0,9 %
DDoS-Guard 186 · 0,7 %
axelname 169 · 0,7 %

не указан — 518 (2,1 %)

таблицей
значениесайтовдоля
nginx20 62682,3 %
Qrator1 3485,4 %
Apache1 1924,8 %
194.67.72.313001,2 %
OpenResty2791,1 %
lighttpd2300,9 %
DDoS-Guard1860,7 %
axelname1690,7 %
не указан5182,1 %
CDN и анти-DDoS · от 25 074
  • Cloudflare0,6 %
  • DDoS-Guard0,7 %
  • Qrator5,4 %
  • Fastly0,0 %
  • без CDN93,3 %

серый — без CDN

таблицей
значениесайтовдоля
Cloudflare1510,6 %
DDoS-Guard1860,7 %
Qrator1 3475,4 %
Fastly20,0 %
без CDN23 38893,3 %
WAF · от 25 074
  • Qrator5,4 %
  • DDoS-Guard0,7 %
  • Cloudflare0,6 %
  • другие0,0 %
  • без WAF93,3 %

серый — без WAF

таблицей
значениесайтовдоля
Qrator1 3475,4 %
DDoS-Guard1860,7 %
Cloudflare1500,6 %
другие90,0 %
без WAF23 38293,3 %
5 / 14

HTTPS и сертификаты

Сначала сайт пробуется по https, потом по http; сертификат читается из TLS-рукопожатия: кто выдал, какого типа (DV/OV/EV), до какого числа, какая версия протокола. Доля HTTPS считается от ответивших, доли по сертификатам — от сайтов, у которых он есть.

  • HTTPS у 4 996 сайтов из 25 074 ответивших — 19,9 %. Остальные открываются только по http, и браузер честно пишет «не защищено».
  • HTTP/2 умеют 3 931 сайт (15,7 %).
  • Из сайтов с сертификатом 61,7 % договариваются по TLS 1.3.
  • Let's Encrypt выдал 2 622 сертификатов — 52,0 %; платные удостоверяющие центры остались у крупных.
  • Почти все сертификаты — DV, с проверкой только домена: 63,7 %; EV, с проверкой организации, — 0.
HTTPS · от 25 074
  • HTTPS19,9 %
  • только HTTP80,1 %
таблицей
значениесайтовдоля
HTTPS4 99619,9 %
только HTTP20 07880,1 %
HTTP/2 · от 25 074
  • HTTP/215,7 %
  • HTTP/1.184,3 %
таблицей
значениесайтовдоля
HTTP/23 93115,7 %
HTTP/1.121 14384,3 %
версии TLS · от 5 039
  • TLSv1.361,7 %
  • TLSv1.230,5 %
  • не указана7,9 %
таблицей
значениесайтовдоля
TLSv1.33 10761,7 %
TLSv1.21 53530,5 %
не указана3977,9 %
типы сертификатов · от 5 039
  • OV36,3 %
  • DV63,7 %

EV и OV — с проверкой организации

таблицей
значениесайтовдоля
OV1 82936,3 %
DV3 21063,7 %
удостоверяющие центры · от 5 039
Let's Encrypt 2 622 · 52,0 %
самоподписанный (пример OpenSSL) 998 · 19,8 %
GlobalSign 571 · 11,3 %
Tilda.Domains 494 · 9,8 %
Sprinthost 236 · 4,7 %
самоподписанный (без имени) 29 · 0,6 %

не указан — 10 (0,2 %)

таблицей
значениесайтовдоля
Let's Encrypt2 62252,0 %
самоподписанный (пример OpenSSL)99819,8 %
GlobalSign57111,3 %
Tilda.Domains4949,8 %
Sprinthost2364,7 %
самоподписанный (без имени)290,6 %
не указан100,2 %
6 / 14

Хостинг

Хостинг — по адресу сайта и автономной системе (AS), которой он принадлежит; бренд берётся по владельцу сети. Это честный ответ на вопрос «чей сервер», но не «у кого куплен тариф»: сайт может стоять за CDN или на своём железе в чужом дата-центре.

  • REG.RU держит 15 103 сайта — 51,2 % всех с профилем; заметная часть из них — парковка регистратора, а не хостинг.
  • Тройка — REG.RU, RU-CENTER, Beget — это 77,5 % рунета.
хостинги · от 29 513
REG.RU 15 103 · 51,2 %
RU-CENTER 5 929 · 20,1 %
Beget 1 852 · 6,3 %
Timeweb 1 819 · 6,2 %
Selectel 1 083 · 3,7 %
OVH 574 · 1,9 %
Sprinthost 287 · 1,0 %
DDoS-Guard 240 · 0,8 %
Masterhost 235 · 0,8 %
Cloudflare 177 · 0,6 %
FirstVDS 70 · 0,2 %
Hostland 26 · 0,1 %
таблицей
значениесайтовдоля
REG.RU15 10351,2 %
RU-CENTER5 92920,1 %
Beget1 8526,3 %
Timeweb1 8196,2 %
Selectel1 0833,7 %
OVH5741,9 %
Sprinthost2871,0 %
DDoS-Guard2400,8 %
Masterhost2350,8 %
Cloudflare1770,6 %
FirstVDS700,2 %
Hostland260,1 %
7 / 14

Тематика

Рубрика — по тексту главной страницы: словари из 118 рубрик в 25 группах, без сети и без нейросетей, поэтому воспроизводимо. Точность по группе около 80 %; у каждого пятого живого сайта темы нет — короткие главные, каталоги без слов, страницы входа.

  • Тематика считалась у 1 205 живых сайтов; у 254 (21,1 %) рубрику по тексту главной определить не удалось.
  • Самая крупная группа — «Одежда и аксессуары»: 153 сайта (16,1 % от размеченных).
  • Самая частая рубрика — «Хостинг и домены», 106 сайтов.
группы тематик · от 1 205

не определена — 254 (21,1 %)

таблицей
значениесайтовдоля
Одежда и аксессуары15312,7 %
IT и связь12610,5 %
Недвижимость и строительство907,5 %
Промышленность и B2B816,7 %
Азартные игры и ставки675,6 %
Дом, сад и интерьер554,6 %
Финансы и право433,6 %
Государство и общество403,3 %
Авто и транспорт383,2 %
СМИ, культура и развлечения373,1 %
не определена25421,1 %
рубрики · от 1 205
таблицей
значениесайтовдоля
Хостинг и домены1068,8 %
Одежда847,0 %
Казино и слоты675,6 %
Ювелирные изделия и часы342,8 %
Строительство домов262,2 %
Сумки и аксессуары211,7 %
Госорганы и муниципалитеты201,7 %
Металл и металлообработка201,7 %
Мебель181,5 %
Окна, двери, потолки171,4 %
8 / 14

География

Субъект и город — по кодам телефонов, реквизитам (ИНН выдаёт регион), почтовым индексам, адресу в подвале и упоминаниям в тексте; справочники — Россвязь, Почта, Викиданные. Масштаб — сколько регионов сайт называет своими.

  • Регион нашёлся у 631 из 1 165 сайтов, где он считался (54,2 %).
  • Москва — 172 сайта, 27,3 % от сайтов с регионом. Следом Санкт-Петербург (40) и Краснодарский край (38).
  • 46,1 % сайтов работают на один регион; на всю страну — 3,1 %.
субъекты РФ · от 1 165

не определён — 534 (45,8 %)

таблицей
значениесайтовдоля
Москва17214,8 %
Санкт-Петербург403,4 %
Краснодарский край383,3 %
Московская область363,1 %
Свердловская область232,0 %
Республика Башкортостан201,7 %
Нижегородская область151,3 %
Челябинская область151,3 %
Республика Татарстан151,3 %
Новосибирская область110,9 %
не определён53445,8 %
города · от 1 165
Москва 172 · 14,8 %
Краснодар 22 · 1,9 %
Уфа 19 · 1,6 %
Челябинск 12 · 1,0 %
Иркутск 8 · 0,7 %
Сочи 7 · 0,6 %
таблицей
значениесайтовдоля
Москва17214,8 %
Санкт-Петербург403,4 %
Краснодар221,9 %
Уфа191,6 %
Екатеринбург151,3 %
Челябинск121,0 %
Новосибирск90,8 %
Нижний Новгород80,7 %
Иркутск80,7 %
Сочи70,6 %
масштаб · от 1 165
  • один регион46,1 %
  • несколько регионов7,3 %
  • вся Россия3,1 %
  • не определён43,5 %

серый — не определён

таблицей
значениесайтовдоля
один регион53746,1 %
несколько регионов857,3 %
вся Россия363,1 %
не определён50743,5 %
9 / 14

Вёрстка и оформление

Оценка по HTML главной: возраст вёрстки — по набору признаков (табличная сетка, флоаты, флекс, грид, современные теги), а не по дате; мобильность — по viewport, медиазапросам и относительным размерам. Это ориентир, а не приговор дизайну.

  • Полностью адаптивная вёрстка у 4 669 сайтов из 20 053 разобранных — 23,3 %; частично — 34,7 %, совсем нет — 42,0 %.
  • Вёрстка образца до 2015 года — у 87,1 % сайтов; современной, по набору признаков, выглядит 1,3 %.
  • Bootstrap — самый частый CSS-фреймворк: 2 112 сайтов; Tailwind — 1 039.
возраст вёрстки · от 20 053
таблицей
значениесайтовдоля
современная2601,3 %
2015–20202 32211,6 %
2010–201510 77353,7 %
до 20106 69833,4 %
мобильная вёрстка · от 20 053
  • адаптивный23,3 %
  • частично34,7 %
  • нет42,0 %
таблицей
значениесайтовдоля
адаптивный4 66923,3 %
частично6 96734,7 %
нет8 41742,0 %
откуда шрифты · от 20 053

серый — в HTML не видно

таблицей
значениесайтовдоля
свои шрифты2451,2 %
системные7103,5 %
Google Fonts2 82114,1 %
не видно в HTML16 27781,2 %
CSS-фреймворки · от 20 053
Bootstrap 2 112 · 10,5 %
Tailwind 1 039 · 5,2 %
Foundation 6 · 0,0 %
Bulma 3 · 0,0 %
UIkit 1 · 0,0 %

без фреймворка — 16 892 (84,2 %)

таблицей
значениесайтовдоля
Bootstrap2 11210,5 %
Tailwind1 0395,2 %
Foundation60,0 %
Bulma30,0 %
UIkit10,0 %
без фреймворка16 89284,2 %
форматы картинок · от 20 053
png 11 129 · 55,5 %
svg 7 242 · 36,1 %
webp 1 184 · 5,9 %
jpg 841 · 4,2 %
gif 718 · 3,6 %
jpeg 269 · 1,3 %
avif 34 · 0,2 %

сайты, где формат встречается на главной

таблицей
значениесайтовдоля
png11 12955,5 %
svg7 24236,1 %
webp1 1845,9 %
jpg8414,2 %
gif7183,6 %
jpeg2691,3 %
avif340,2 %
10 / 14

Ошибки и гигиена

Технические недоработки главной страницы, которые видны без специальных инструментов: нет description или Open Graph, нет h1 и lang, главная отдана по http, видна версия сервера. Заголовки безопасности — из ответа; разметка schema.org — из HTML.

  • Самая частая недоработка — «нет Open Graph»: 17 332 сайта, 86,4 % разобранных.
  • Заголовки безопасности редкость: HSTS у 24,7 %, CSP у 4,9 % сайтов с фактами о странице.
  • Без viewport — то есть без подсказки телефону, как масштабировать страницу, — 9 948 сайтов (44,4 %).
технические ошибки · от 20 053
нет Open Graph 17 332 · 86,4 %
нет description 15 021 · 74,9 %
нет lang 14 751 · 73,6 %
нет charset 11 350 · 56,6 %
нет h1 3 102 · 15,5 %
таблицей
значениесайтовдоля
нет Open Graph17 33286,4 %
главная отдана по http15 09675,3 %
нет description15 02174,9 %
нет lang14 75173,6 %
нет charset11 35056,6 %
нет мобильной вёрстки8 43342,1 %
устаревшие теги7 12935,6 %
запрет индексации6 86734,2 %
запрещено масштабирование4 15420,7 %
нет h13 10215,5 %
заголовки безопасности · от 22 418
hsts 5 539 · 24,7 %
x-frame-options 1 810 · 8,1 %
nosniff 1 621 · 7,2 %
csp 1 107 · 4,9 %
referrer-policy 116 · 0,5 %
permissions-policy 46 · 0,2 %
таблицей
значениесайтовдоля
hsts5 53924,7 %
x-frame-options1 8108,1 %
nosniff1 6217,2 %
csp1 1074,9 %
referrer-policy1160,5 %
permissions-policy460,2 %
viewport · от 22 418
  • есть viewport55,6 %
  • нет viewport44,4 %
таблицей
значениесайтовдоля
есть viewport12 47055,6 %
нет viewport9 94844,4 %
разметка schema.org · от 22 418
SiteNavigationElement 1 038 · 4,6 %
ListItem 409 · 1,8 %
BreadcrumbList 407 · 1,8 %
ImageObject 177 · 0,8 %
Product 117 · 0,5 %
WebPage 113 · 0,5 %
WebSite 109 · 0,5 %
Organization 105 · 0,5 %
таблицей
значениесайтовдоля
SiteNavigationElement1 0384,6 %
ListItem4091,8 %
BreadcrumbList4071,8 %
ImageObject1770,8 %
Product1170,5 %
WebPage1130,5 %
WebSite1090,5 %
Organization1050,5 %
главное зеркало · от 22 418
  • без www90,1 %
  • с www0,2 %
таблицей
значениесайтовдоля
без www20 20090,1 %
с www520,2 %
11 / 14

Содержимое

Что о сайте говорит его главная и карта: объявленный язык, дата последнего обновления (из разметки, заголовков и текста — если её нет, так и пишем), размер по карте сайта, наличие llms.txt.

  • Язык страницы объявлен у 35,3 % сайтов; ru — 3 595, en — 6 835: английский часто стоит по умолчанию у шаблонов.
  • Дату обновления удалось найти у 6,9 % сайтов; обновлялись за последние три месяца 745.
  • Карта сайта есть у 2,1 % сайтов с профилем.
  • llms.txt — описание сайта для языковых моделей — выложили 7 сайтов.
язык страницы · от 29 513
en 6 835 · 23,2 %
ru 3 595 · 12,2 %
utf 1 · 0,0 %
zxx 1 · 0,0 %

не указан — 19 081 (64,7 %)

таблицей
значениесайтовдоля
en6 83523,2 %
ru3 59512,2 %
utf10,0 %
zxx10,0 %
не указан19 08164,7 %
свежесть · от 20 053
  • обновлён за 3 месяца3,7 %
  • обновлён за год0,4 %
  • больше года назад0,6 %
  • больше трёх лет назад2,1 %
  • дата не найдена93,1 %

серый — дата не найдена

таблицей
значениесайтовдоля
обновлён за 3 месяца7453,7 %
обновлён за год790,4 %
больше года назад1300,6 %
больше трёх лет назад4222,1 %
дата не найдена18 67793,1 %
размер сайта по карте · от 29 513
  • 1–10 страниц0,9 %
  • 11–1000,7 %
  • 101–1 0000,2 %
  • 1 001–10 0000,1 %
  • больше 10 0000,3 %
  • карта пустая0,7 %
  • нет карты сайта97,2 %

серый — карты нет или она пуста

таблицей
значениесайтовдоля
1–10 страниц2700,9 %
11–1001930,7 %
101–1 000560,2 %
1 001–10 000170,1 %
больше 10 000880,3 %
карта пустая1970,7 %
нет карты сайта28 69297,2 %
llms.txt · от 20 053
  • есть llms-full.txt0,0 %
  • есть llms.txt0,0 %
  • нет llms.txt4,3 %
таблицей
значениесайтовдоля
есть llms-full.txt10,0 %
есть llms.txt60,0 %
нет llms.txt8644,3 %
12 / 14

Посещаемость

Индекс — свой, с открытой формулой: корзины популярности CrUX (Google, CC BY 4.0), ранг Tranco, показания открытых счётчиков и внешние ссылки. Не «примерно столько визитов», а полоса: чем выше, тем больше независимых свидетельств, что на сайт ходят.

  • Индекс посещаемости 0–100 посчитан для 27 771 домен; в полосе 70 и выше — 763, это 2,7 %: заметных сайтов в рунете мало, и это нормально.
индекс посещаемости · от 27 771
  • 70–89 — заметные2,7 %
  • 50–69 — обычные живые сайты72,2 %
  • 0–39 — почти без посетителей24,5 %
  • нет оценки0,6 %

серый — нет оценки

таблицей
значениесайтовдоля
70–89 — заметные7632,7 %
50–69 — обычные живые сайты20 03872,2 %
0–39 — почти без посетителей6 81524,5 %
нет оценки1550,6 %
13 / 14

Роботы ИИ и поисковики

robots.txt разбирается по RFC 9309: группы User-agent, самое длинное совпадающее правило, явная группа робота старше общей. Это заявленная владельцем политика, а не наблюдение за тем, кто на сайт реально ходит: robots.txt — просьба, а не запрет.

  • robots.txt запрашивался у 1 435 живых сайтов; роботов ИИ хоть как-то ограничивают 347 (24,2 %), у 229 файла нет вовсе.
  • Чаще всего закрывают CCBot — 344 сайта; GPTBot — 88, ClaudeBot — 86.
  • От поисковиков целиком закрыты 82 сайта (5,7 %).
отношение к роботам ИИ · от 1 435

серый — нет robots.txt

таблицей
значениесайтовдоля
закрыт от всех роботов825,7 %
закрыт от ИИ26418,4 %
часть ИИ закрыта10,1 %
ИИ не упомянут85759,7 %
ИИ разрешён явно20,1 %
нет robots.txt22916,0 %
каким роботам ИИ закрыт корень · от 1 435
CCBot 344 · 24,0 %
GPTBot 88 · 6,1 %
Google-Extended 87 · 6,1 %
Amazonbot 87 · 6,1 %
ClaudeBot 86 · 6,0 %
Applebot-Extended 86 · 6,0 %
Bytespider 86 · 6,0 %
meta-externalagent 86 · 6,0 %
таблицей
значениесайтовдоля
CCBot34424,0 %
GPTBot886,1 %
Google-Extended876,1 %
Amazonbot876,1 %
ClaudeBot866,0 %
Applebot-Extended866,0 %
Bytespider866,0 %
meta-externalagent866,0 %
поисковые роботы · от 1 435
  • поисковикам открыт90,0 %
  • закрыт от части поисковиков4,3 %
  • закрыт от поисковиков5,7 %
таблицей
значениесайтовдоля
поисковикам открыт1 29190,0 %
закрыт от части поисковиков624,3 %
закрыт от поисковиков825,7 %
14 / 14

Списки блокировок

Восемь открытых источников — зеркала реестра, архив реестра, списки вредоносного ПО, фишинга и спама — скачиваются каждые сутки, и домены сверяются с ними. На карточке домена написано, в каком именно списке он нашёлся и на какую дату.

  • Из 33 961 сверенных доменов хотя бы в одном публичном списке встречается 500 доменов — 1,5 %. Это не «заблокирован Роскомнадзором»: официальный реестр отдаётся только по запросу с электронной подписью, а публичные списки шире его.
домены в списках · от 33 961
rkn_antifilter 409 · 1,2 %
rkn_registry 247 · 0,7 %
malware 90 · 0,3 %

хотя бы в одном списке — 500 (1,5 %)

таблицей
значениесайтовдоля
rkn_antifilter4091,2 %
rkn_registry2470,7 %
malware900,3 %
хотя бы в одном списке5001,5 %

Как считаем

Каждую ночь по последнему обходу каждого сайта строится срез?: для каждого показателя — сколько сайтов с каким значением. Срезы хранятся по дням, поэтому у каждой цифры есть история, а у каждого значения — своя страница с примерами живых сайтов.

  • Источник один — собственные наблюдения: ответы сайтов, DNS, TLS, robots.txt, открытые списки. Ни платных API, ни чужих рейтингов внутри показателей.
  • Обход вежливый: не быстрее запроса в секунду на хост, с честным именем робота, без обхода капч и форм.
  • Прирост к прошлому срезу здесь не показывается намеренно: пока зона проходится впервые, он говорит о ходе обхода, а не о рунете. Динамика по дням есть на странице каждого значения.
  • Данные открыты под CC BY 4.0: тот же срез отдаёт /api/stats?scope=rf; непонятное слово — в словаре.