Рунет и роботы ИИ
Что сайты зоны .ru/.рф/.su написали про GPTBot, ClaudeBot, CCBot и других в своём robots.txt · срез 2026-11-02
Что сайт написал у себя в robots.txt
| вердикт | сайтов | доля | за неделю | |
|---|---|---|---|---|
| ИИ не упомянут | 1 679 018 | 66,5 % | +8 808 | |
| нет robots.txt | 639 172 | 25,3 % | +7 044 | |
| закрыт от всех роботов | 154 899 | 6,1 % | +1 673 | |
| закрыт от ИИ | 28 759 | 1,1 % | +2 047 | |
| ИИ разрешён явно | 20 923 | 0,8 % | +940 | |
| часть ИИ закрыта | 1 955 | 0,1 % | +88 |
«Закрыт от всех роботов» и «закрыт от ИИ» — разные вещи, и здесь они
разведены намеренно. Первое — общий Disallow: /, каким закрывают брошенные
домены и тестовые стенды: роботов ИИ туда тоже не пускают, но решения про ИИ владелец
не принимал. Второе — в файле НАЗВАН GPTBot, ClaudeBot или другой токен, и запрещён
именно он.
По роботам
| робот | чей и зачем ходит | закрыт корень | назван явно | доля закрывших |
|---|---|---|---|---|
| CCBot | Common Crawl · открытый архив веба | 174 806 | 25 973 | 6,9 % |
| GPTBot | OpenAI · обучение | 174 705 | 39 778 | 6,9 % |
| ClaudeBot | Anthropic · обучение | 167 957 | 30 597 | 6,7 % |
| Amazonbot | Amazon · обучение | 167 859 | 81 381 | 6,6 % |
| Bytespider | ByteDance · обучение | 165 564 | 14 127 | 6,6 % |
| anthropic-ai | Anthropic · прежний токен | 164 849 | 15 817 | 6,5 % |
| meta-externalagent | Meta · обучение | 163 220 | 14 472 | 6,5 % |
| Google-Extended | Google · обучение Gemini | 162 991 | 24 690 | 6,5 % |
| Claude-Web | Anthropic · прежний токен | 162 903 | 11 679 | 6,5 % |
| ChatGPT-User | OpenAI · заход по просьбе пользователя | 162 252 | 20 090 | 6,4 % |
| Applebot-Extended | Apple · обучение Apple Intelligence | 160 609 | 15 237 | 6,4 % |
| cohere-ai | Cohere · обучение | 160 167 | 7 767 | 6,3 % |
| Diffbot | Diffbot · сбор данных | 159 505 | 5 497 | 6,3 % |
| Omgilibot | Webz.io · перепродажа данных | 159 339 | 4 850 | 6,3 % |
| ImagesiftBot | ImageSift · сбор картинок | 157 569 | 2 966 | 6,2 % |
| FacebookBot | Meta · прежний токен | 156 981 | 3 282 | 6,2 % |
| PerplexityBot | Perplexity · поиск | 156 658 | 20 893 | 6,2 % |
| OAI-SearchBot | OpenAI · поиск ChatGPT | 156 347 | 16 678 | 6,2 % |
| Claude-SearchBot | Anthropic · поиск Claude | 155 898 | 7 075 | 6,2 % |
| meta-externalfetcher | Meta · заход по просьбе пользователя | 155 522 | 1 133 | 6,2 % |
| Claude-User | Anthropic · заход по просьбе пользователя | 155 520 | 5 715 | 6,2 % |
| Perplexity-User | Perplexity · заход по просьбе пользователя | 155 375 | 6 341 | 6,2 % |
| AI2Bot | Allen Institute · обучение | 155 299 | 737 | 6,2 % |
| MistralAI-User | Mistral · заход по просьбе пользователя | 155 216 | 1 554 | 6,1 % |
| YandexAdditional | Яндекс · ответы YandexGPT и Алисы | 155 183 | 6 895 | 6,1 % |
| DuckAssistBot | DuckDuckGo · ответы | 155 087 | 1 735 | 6,1 % |
| YandexAdditionalBot | Яндекс · ответы YandexGPT и Алисы | 154 995 | 2 203 | 6,1 % |
«Закрыт корень» больше, чем «назван явно», ровно на число сайтов, где робот попал под общий запрет всем. Смотреть надо на второй столбец: это и есть осознанное решение владельца.
llms.txt
Файл llms.txt в корне сайта — предложенный в 2024 году способ объяснить
языковой модели, что на сайте есть и куда смотреть. Проверяем его на живых сайтах в
глубоком проходе и требуем настоящий markdown с заголовком: страница «404» с кодом 200
за файл не считается.
| файл | сайтов |
|---|---|
| нет llms.txt | 2 263 118 |
| есть llms.txt | 52 175 |
| есть llms-full.txt | 7 506 |
Как это измерено
Мы скачиваем robots.txt по адресу сайта и разбираем его по RFC 9309:
группы User-agent, самое длинное совпадающее правило, при равной длине
выигрывает Allow. Явная группа робота старше группы *
независимо от порядка в файле. Проверяется доступ к корню сайта.
Что эта цифра значит и чего не значит. Она значит: владелец сайта записал такую
политику на дату среза. Она не значит, что робот на сайт не заходит: robots.txt —
просьба, а не запрет, закрыть робота можно и на уровне сервера, и наоборот — запись
в файле никого ни к чему не обязывает. Заходы «по просьбе пользователя»
(ChatGPT-User, Claude-User, Perplexity-User)
в вердикт «закрыт от ИИ» не входят: закрыть их — отказ живому человеку, пришедшему
по ссылке, а не позиция по обучению моделей.
robots.txt спрашивается только у сайтов, которые отвечают и не являются заглушкой хостера: на парковочной странице файл принадлежит провайдеру, а не домену. Поэтому доля считается от 2 524 726 проверенных сайтов, а не от всей зоны. Токены роботов сверены с документацией операторов.