нет robots.txt
сколько живых сайтов рунета получили вердикт «нет robots.txt» — по собственному ежедневному обходу зоны .ru/.рф/.su · срез 2026-11-02
Как менялось
41 срезов, от 11 239 до 644 069 сайтов.
Примеры живых сайтов
| домен | движок | тип |
|---|---|---|
| olit.su | Next.js | Корпоративные сайты |
| raec.su | 1C-Bitrix | СМИ и медиа |
| youngreaders.ru | — | Лендинги |
| ihep.su | InfoDesignerWeb | Корпоративные сайты |
| iimed.ru | — | СМИ и медиа |
| ruef.ru | MODX | Корпоративные сайты |
| nag.ru | — | СМИ и медиа |
| rkz.su | — | Блоги |
| atet.su | 1C-Bitrix | Корпоративные сайты |
| begin.ru | MODX | Корпоративные сайты |
| lspb.su | — | Корпоративные сайты |
| vdpo.ru | — | СМИ и медиа |
| excurspb.ru | — | Интернет-магазины |
| transaero.ru | — | СМИ и медиа |
| dstu.ru | Next.js | Корпоративные сайты |
| zlat.spb.ru | 1C-Bitrix | Интернет-магазины |
| noc.su | — | Корпоративные сайты |
| invt.su | 1C-Bitrix | Интернет-магазины |
| m16.su | — | СМИ и медиа |
| irro.ru | 1C-Bitrix | СМИ и медиа |
| nskes.ru | 1C-Bitrix | Корпоративные сайты |
| ruj.ru | — | СМИ и медиа |
| spbgau.ru | 1C-Bitrix | Корпоративные сайты |
| cctld.ru | 1C-Bitrix | Корпоративные сайты |
Рядом
ИИ не упомянут 1 679 018 CCBot 174 806 GPTBot 174 705 ClaudeBot 167 957 Amazonbot 167 859 Bytespider 165 564 anthropic-ai 164 849 meta-externalagent 163 220 Google-Extended 162 991 Claude-Web 162 903 ChatGPT-User 162 252 Applebot-Extended 160 609 cohere-ai 160 167 Diffbot 159 505 Omgilibot 159 339 ImagesiftBot 157 569 FacebookBot 156 981 PerplexityBot 156 658 OAI-SearchBot 156 347 Claude-SearchBot 155 898
Как считаем: цифра берётся из ночного среза по всем обследованным сайтам зоны, тем же способом, что и на странице статистики, — разойтись они не могут. Доля — от сайтов, у которых показатель вообще снят.