Рунет и роботы ИИ
Что сайты зоны .ru/.рф/.su написали про GPTBot, ClaudeBot, CCBot и других в своём robots.txt · срез 2026-09-17
Что сайт написал у себя в robots.txt
| вердикт | сайтов | доля | за неделю | |
|---|---|---|---|---|
| ИИ не упомянут | 364 624 | 72,4 % | +344 616 | |
| нет robots.txt | 109 762 | 21,8 % | +98 523 | |
| закрыт от всех роботов | 16 714 | 3,3 % | +14 632 | |
| закрыт от ИИ | 7 411 | 1,5 % | +6 318 | |
| ИИ разрешён явно | 4 568 | 0,9 % | +4 426 | |
| часть ИИ закрыта | 410 | 0,1 % | +391 |
«Закрыт от всех роботов» и «закрыт от ИИ» — разные вещи, и здесь они
разведены намеренно. Первое — общий Disallow: /, каким закрывают брошенные
домены и тестовые стенды: роботов ИИ туда тоже не пускают, но решения про ИИ владелец
не принимал. Второе — в файле НАЗВАН GPTBot, ClaudeBot или другой токен, и запрещён
именно он.
По роботам
| робот | чей и зачем ходит | закрыт корень | назван явно | доля закрывших |
|---|---|---|---|---|
| CCBot | Common Crawl · открытый архив веба | 22 247 | 6 616 | 4,4 % |
| GPTBot | OpenAI · обучение | 21 590 | 9 287 | 4,3 % |
| Amazonbot | Amazon · обучение | 20 175 | 4 620 | 4,0 % |
| ClaudeBot | Anthropic · обучение | 20 013 | 6 713 | 4,0 % |
| Bytespider | ByteDance · обучение | 19 792 | 3 736 | 3,9 % |
| meta-externalagent | Meta · обучение | 19 247 | 3 538 | 3,8 % |
| Google-Extended | Google · обучение Gemini | 19 138 | 5 888 | 3,8 % |
| Applebot-Extended | Apple · обучение Apple Intelligence | 18 910 | 3 758 | 3,8 % |
| ChatGPT-User | OpenAI · заход по просьбе пользователя | 18 000 | 3 587 | 3,6 % |
| anthropic-ai | Anthropic · прежний токен | 17 813 | 2 264 | 3,5 % |
| Claude-Web | Anthropic · прежний токен | 17 462 | 1 516 | 3,5 % |
| Omgilibot | Webz.io · перепродажа данных | 17 384 | 763 | 3,5 % |
| ImagesiftBot | ImageSift · сбор картинок | 17 258 | 596 | 3,4 % |
| FacebookBot | Meta · прежний токен | 17 086 | 630 | 3,4 % |
| cohere-ai | Cohere · обучение | 17 053 | 800 | 3,4 % |
| PerplexityBot | Perplexity · поиск | 17 028 | 4 040 | 3,4 % |
| OAI-SearchBot | OpenAI · поиск ChatGPT | 16 978 | 2 787 | 3,4 % |
| Diffbot | Diffbot · сбор данных | 16 968 | 414 | 3,4 % |
| Claude-SearchBot | Anthropic · поиск Claude | 16 872 | 1 286 | 3,4 % |
| meta-externalfetcher | Meta · заход по просьбе пользователя | 16 801 | 172 | 3,3 % |
| AI2Bot | Allen Institute · обучение | 16 788 | 143 | 3,3 % |
| Claude-User | Anthropic · заход по просьбе пользователя | 16 779 | 805 | 3,3 % |
| YandexAdditional | Яндекс · ответы YandexGPT и Алисы | 16 779 | 1 050 | 3,3 % |
| Perplexity-User | Perplexity · заход по просьбе пользователя | 16 761 | 971 | 3,3 % |
| DuckAssistBot | DuckDuckGo · ответы | 16 753 | 262 | 3,3 % |
| MistralAI-User | Mistral · заход по просьбе пользователя | 16 742 | 202 | 3,3 % |
| YandexAdditionalBot | Яндекс · ответы YandexGPT и Алисы | 16 735 | 307 | 3,3 % |
«Закрыт корень» больше, чем «назван явно», ровно на число сайтов, где робот попал под общий запрет всем. Смотреть надо на второй столбец: это и есть осознанное решение владельца.
llms.txt
Файл llms.txt в корне сайта — предложенный в 2024 году способ объяснить
языковой модели, что на сайте есть и куда смотреть. Проверяем его на живых сайтах в
глубоком проходе и требуем настоящий markdown с заголовком: страница «404» с кодом 200
за файл не считается.
| файл | сайтов |
|---|---|
| нет llms.txt | 461 510 |
| есть llms.txt | 10 618 |
| есть llms-full.txt | 1 220 |
Как это измерено
Мы скачиваем robots.txt по адресу сайта и разбираем его по RFC 9309:
группы User-agent, самое длинное совпадающее правило, при равной длине
выигрывает Allow. Явная группа робота старше группы *
независимо от порядка в файле. Проверяется доступ к корню сайта.
Что эта цифра значит и чего не значит. Она значит: владелец сайта записал такую
политику на дату среза. Она не значит, что робот на сайт не заходит: robots.txt —
просьба, а не запрет, закрыть робота можно и на уровне сервера, и наоборот — запись
в файле никого ни к чему не обязывает. Заходы «по просьбе пользователя»
(ChatGPT-User, Claude-User, Perplexity-User)
в вердикт «закрыт от ИИ» не входят: закрыть их — отказ живому человеку, пришедшему
по ссылке, а не позиция по обучению моделей.
robots.txt спрашивается только у сайтов, которые отвечают и не являются заглушкой хостера: на парковочной странице файл принадлежит провайдеру, а не домену. Поэтому доля считается от 503 489 проверенных сайтов, а не от всей зоны. Токены роботов сверены с документацией операторов.