Bytespider
сколько сайтов рунета закрыли робота Bytespider в своём robots.txt — по собственному ежедневному обходу зоны .ru/.рф/.su · срез 2026-11-02
Как менялось
41 срезов, от 2 600 до 166 417 сайтов.
Примеры живых сайтов
| домен | движок | тип |
|---|---|---|
| tvtomsk.ru | DataLife Engine | СМИ и медиа |
| 1c.ru | Битрикс24.Сайты | СМИ и медиа |
| real.su | MODX | Интернет-магазины |
| oboi.su | 1C-Bitrix | Интернет-магазины |
| lori.ru | — | Интернет-магазины |
| gormed.su | WordPress | Корпоративные сайты |
| web-c.ru | 1C-Bitrix | Блоги |
| veb.ru | 1C-Bitrix | Корпоративные сайты |
| 009.ru | MODX | Интернет-магазины |
| samspace.ru | 1C-Bitrix | СМИ и медиа |
| fmkk.ru | 1C-Bitrix | СМИ и медиа |
| elsv.ru | WordPress | Корпоративные сайты |
| siteedit.ru | SiteEdit | СМИ и медиа |
| astrakhan.su | WordPress | СМИ и медиа |
| 2gkb.ru | MODX | Корпоративные сайты |
| ncfu.ru | 1C-Bitrix | СМИ и медиа |
| sochi.ru | 1C-Bitrix | Корпоративные сайты |
| eprussia.ru | 1C-Bitrix | СМИ и медиа |
| retail.ru | Битрикс24.Сайты | Интернет-магазины |
| cnmt.ru | MODX | Корпоративные сайты |
| abiturient.ru | 1C-Bitrix | СМИ и медиа |
| gamensk.ru | OpenCart | Интернет-магазины |
| rustest.ru | — | СМИ и медиа |
| aksgroup.su | 1C-Bitrix | Интернет-магазины |
Рядом
ИИ не упомянут 1 679 018 нет robots.txt 639 172 CCBot 174 806 GPTBot 174 705 ClaudeBot 167 957 Amazonbot 167 859 anthropic-ai 164 849 meta-externalagent 163 220 Google-Extended 162 991 Claude-Web 162 903 ChatGPT-User 162 252 Applebot-Extended 160 609 cohere-ai 160 167 Diffbot 159 505 Omgilibot 159 339 ImagesiftBot 157 569 FacebookBot 156 981 PerplexityBot 156 658 OAI-SearchBot 156 347 Claude-SearchBot 155 898
Как считаем: цифра берётся из ночного среза по всем обследованным сайтам зоны, тем же способом, что и на странице статистики, — разойтись они не могут. Доля — от сайтов, у которых показатель вообще снят.