83 терминов · 7 разделов

Словарь переписи рунета

Слова, которые встречаются на карточках доменов и в статистике, — простыми фразами. Те же определения показываются на страницах при наведении на знак «?».

Домены и реестр

вечная блокировка#: Состояние домена в реестре «Domain can not be registered»: имя нельзя зарегистрировать никому, чаще всего по решению суда или регулятора. В календарь освобождения такие домены не попадают.
дата освобождения#: День, когда реестр удалит домен из зоны, если его не продлят. Тенур берёт эту дату из реестра — выгрузок nic.ru, сводки axelname и WHOIS, — а не вычисляет по дате оплаты.
дроп#: Жаргонное название освобождающегося домена: владелец не продлил, и реестр вот-вот удалит имя из зоны. После удаления его может зарегистрировать любой желающий, поэтому такие домены ценят за возраст, историю и накопленные ссылки. На страницах Тенура это слово не используется — здесь «освобождающийся домен».
зона#: Домен верхнего уровня, в котором зарегистрировано имя. Тенур переписывает три зоны: .ru, .рф (в DNS она записывается как xn--p1ai) и .su.
оплачен до#: Срок, до которого регистрация домена оплачена. После него у владельца есть месяц на продление, и только потом реестр назначает дату освобождения.
премиальное имя#: Короткое словарное имя без цифр и дефисов — оно ценится само по себе, независимо от истории сайта.
регистратор#: Компания, аккредитованная реестром, через которую домен зарегистрирован и продлевается: REGRU-RU, RU-CENTER-RU, BEGET-RU и другие. Код после дефиса — зона.
реестр#: База всех доменов зоны у её администратора: для .ru и .рф — Координационный центр доменов, для .su — Фонд развития интернета. Тенур сверяется с реестром через выгрузки и WHOIS.
punycode#: Запись кириллического имени латиницей, понятная DNS: «сайт.рф» превращается в «xn--80aswg.xn--p1ai». В базе имя хранится именно так, а показывается по-русски.
WHOIS#: Служба реестра, отвечающая на вопрос «кто и до какого срока владеет доменом»: регистратор, даты создания и оплаты, серверы имён, состояние. Персональные данные администратора-физлица реестр не раскрывает.

Оценка домена

веб-архив#: Wayback Machine (web.archive.org) — архив копий сайтов с 1996 года. Число снимков и годы, за которые они есть, показывают, как долго и как активно на домене жил сайт.
вероятность освобождения#: Вероятность того, что домен действительно освободится, а не будет продлён в последний момент: 0,90 — почти наверняка уйдёт в свободные, 0,20 — скорее всего продлят.
досье#: Всё, что Тенур собрал о домене, который скоро освободится: история в веб-архиве, ИКС, ссылки, трафик, чистота прошлого. Из досье складывается оценка домена.
ИКС#: Индекс качества сайта — оценка Яндекса, насколько сайт полезен людям: от 10 у малозаметных сайтов до тысяч у крупных. У освобождающегося домена ИКС помнит прежний сайт и говорит о том, чем он был.
оценка домена#: Число от 0 до 1 — насколько ценен домен сам по себе: история в веб-архиве, ИКС, ссылочная масса, реальный трафик и чистота прошлого. Словами — отлично, хорошо, сомнительно или плохо; формула открыта, рядом показаны «за» и «против».
оценка словами#: Итог досье одним словом: «отлично», «хорошо», «сомнительно» — домен ценный, но в прошлом сайта нашлись казино, аптеки или дорвеи, — или «плохо». Считается по той же формуле, что и оценка домена, и всегда идёт с раскладкой «за» и «против».
скоры#: Промежуточные оценки домена от 0 до 1: живость сайта, бизнес-признаки, авторитет, свежесть, риск, качество имени. Из них складываются коммерческая ценность и ценность домена.
ссылки из Википедии#: Сколько статей русской Википедии ссылаются на домен. Сильный признак известного сайта: в энциклопедию попадают источники, а не реклама.
ТИЦ#: Тематический индекс цитирования — прежний показатель Яндекса, в 2018 году заменённый ИКС. Встречается в старых досье и каталогах.
чистая история#: В снимках веб-архива не нашлось казино, «взрослых» сайтов, аптек, дорвеев и займов — тем, за которые поисковики понижают домен надолго.
Яндекс.Каталог#: Закрытый в 2017 году каталог сайтов Яндекса с ручной модерацией. Попадание в него — признак давнего и заметного сайта.
Majestic#: Индекс ссылок компании Majestic. «Подсети» и «IP» — с скольких разных сетей ссылаются на домен: чем их больше, тем естественнее ссылочная масса.
OpenPageRank#: Открытая оценка авторитета домена по ссылкам из Common Crawl, шкала от 0 до 10. «Пик» — лучшее значение за историю, «рухнул» — падение после закрытия сайта.

Сайт и технологии

адаптивная вёрстка#: Страница перестраивается под ширину экрана телефона. «Частично» — медиазапросы есть, но страница на телефоне всё равно не влезает.
антибот#: Сайт встречает автоматические запросы проверкой — капчей или заданием на JavaScript. Обход видит заслон, а не сайт, и это честно отмечается.
возраст вёрстки#: Оценка, в какие годы сделана вёрстка сайта, по набору признаков: таблицы, Flash, jQuery, Bootstrap, CSS-переменные. Это не дата, а стилевой возраст.
живой сайт#: Домен, который отвечает по HTTP настоящей страницей — не заглушкой хостера, не ошибкой и не парковкой.
заглушка#: Страница хостера или регистратора вместо сайта: «сайт не настроен», «домен продаётся», «срок регистрации истёк». Тенур распознаёт их по признакам и живыми не считает.
мягкая 404#: Страница «не найдено» отвечает кодом 200 вместо 404: поисковик принимает мусор за настоящие страницы.
парковка#: Домен направлен на серверы имён регистратора или рекламной площадки: вместо сайта открывается страница с объявлениями или «домен продаётся». Обычное состояние истёкших доменов.
регион#: Субъект РФ и город, к которым привязан сайт: по кодам телефонов, индексам, ИНН, адресам и тексту. Определяется примерно у половины живых сайтов.
редирект#: Перенаправление: цепочка адресов от набранного до того, где сайт наконец открылся. Длинная цепочка замедляет сайт и путает поисковики.
тематика#: О чём сайт — по тексту главной страницы: рубрика («Стоматология») и группа («Медицина и здоровье»). Точность около восьми сайтов из десяти.
техстек#: Набор технологий сайта: движок, библиотеки скриптов, веб-сервер, CDN, аналитика, платёжные и рекламные сервисы — по отпечаткам в коде главной страницы.
тип сайта#: К какому виду относится сайт по устройству: интернет-магазин, корпоративный, лендинг, СМИ, блог. Определяется по признакам разметки — корзине, каталогу, ленте записей.
форма входа#: Главная страница — форма авторизации: сайт закрыт для посторонних, и о его содержимом снаружи ничего не узнать.
хостинг#: Где стоит сервер сайта. Определяется по IP-адресу и владельцу сети, в которую он входит; за CDN настоящий хостинг не виден.
CLS#: Cumulative Layout Shift — насколько страница «прыгает», пока грузится. Хорошо — до 0,1.
CMS#: Система управления сайтом — «движок»: WordPress, 1С-Битрикс, Tilda, OpenCart и другие. Определяется по следам в разметке, путях к файлам, куках и заголовках ответа; «не определён» значит именно это, а не «самописный».
LCP#: Largest Contentful Paint — за сколько секунд на экране появляется самый крупный элемент страницы. Хорошо — до 2,5 с, плохо — дольше 4 с.
SPA#: Одностраничное приложение: страницу рисует скрипт в браузере, а в исходном ответе сервера почти пусто. Такие сайты видно только через настоящий браузер.
TTFB#: Время до первого байта — сколько сервер думает, прежде чем начать отвечать. Хорошо — до 200 мс.
viewport#: Мета-тег, который говорит телефону показывать страницу в её ширину. Без него мобильный браузер рисует уменьшенную копию десктопной версии.

DNS, сеть и безопасность

автономная система#: Сеть со своим номером в интернете (AS12345) и владельцем — провайдером или хостером. По номеру сети видно, кому принадлежит IP-адрес.
CDN#: Сеть доставки содержимого (Cloudflare, DDoS-Guard и другие): сайт отдаётся с её серверов по всему миру, а настоящий хостинг за ней не виден.
DMARC#: Политика домена на случай подделки писем от его имени: что делать получателю с письмом, не прошедшим проверку. Признак ухоженной почты.
DNS#: Система доменных имён: переводит имя сайта в IP-адрес. «Не резолвится» — адреса у имени нет, и открыть сайт нельзя ни в каком браузере.
DNSSEC#: Цифровые подписи DNS-записей: защита от подмены адреса сайта по дороге к пользователю.
HTTP/2#: Вторая версия протокола HTTP: отдаёт страницу быстрее, а его поддержка — признак современного сервера.
IP-адрес#: Числовой адрес сервера, на который указывает домен. На одном адресе виртуального хостинга живут тысячи чужих друг другу сайтов — соседство по IP не значит общего владельца.
MX#: Запись DNS с адресом почтового сервера. Есть MX — домен принимает почту; по адресу видно, чья это почта: Яндекс 360, Mail.ru, Google.
NS#: Серверы имён, которые отвечают за DNS-записи домена. По ним видно, где домен обслуживается и не припаркован ли он: у парковок и истёкших доменов свои характерные NS.
PTR#: Обратная запись DNS: имя, которое сервер сообщает о себе по своему IP-адресу. Обычно в нём читается хостер.
SAN#: Список имён в сертификате: какие ещё домены и поддомены он покрывает. По нему видно соседей по сертификату — часто это сайты одного владельца.
security.txt#: Файл с контактом для сообщений об уязвимостях сайта, стандарт RFC 9116. Есть у ухоженных сайтов, у большинства — нет.
SPF#: Запись DNS со списком серверов, которым разрешено слать письма от имени домена. По ней видно, какими рассылочными сервисами пользуется сайт.
TLS-сертификат#: Сертификат, которым сайт подтверждает своё имя при шифровании соединения (HTTPS). Выдаёт удостоверяющий центр — Let's Encrypt, GlobalSign или российский УЦ Минцифры, которому доверяют не все браузеры.
WAF#: Экран для веб-приложений: фильтрует подозрительные запросы и часто показывает роботам капчу вместо страницы.

Посещаемость и авторитет

граф ссылок#: Кто на кого ссылается среди сайтов переписи, по страницам из обхода. Из графа считаются входящие ссылки, анкоры и PageRank.
индекс посещаемости#: Собственная шкала Тенура от 0 до 100, собранная из открытых сигналов: корзины CrUX, ранга Tranco, счётчиков. Это не число визитов, а место среди других сайтов; формула открыта на карточке.
счётчик Mail.ru#: Рейтинг Mail.ru: открытые показания счётчика — посетители и просмотры за день, а также место в рейтинге.
Common Crawl#: Открытый архив обхода всего веба. Его веб-граф — кто на кого ссылается — лежит в основе многих наборов для обучения языковых моделей.
CrUX#: Chrome User Experience Report — открытые данные Google о реальных заходах пользователей Chrome. Сайт попадает туда только при заметной посещаемости; «топ-100 тыс.» значит, что он входит в сто тысяч самых посещаемых сайтов страны.
LiveInternet#: Счётчик посещаемости, который стоит на многих сайтах рунета. Если владелец открыл статистику, видно настоящее число посетителей в сутки.
PageRank#: Мера важности сайта по ссылкам: чем больше ссылок с других важных сайтов, тем выше. Тенур считает свой PageRank по графу ссылок между сайтами переписи.
Tranco#: Исследовательский рейтинг миллиона самых посещаемых доменов мира, собранный из нескольких источников. Ранг — место в этом миллионе.

Роботы и разметка

роботы ИИ#: Роботы компаний, обучающих языковые модели: GPTBot у OpenAI, ClaudeBot у Anthropic, CCBot у Common Crawl, Google-Extended и другие. Сайт может закрыть их в robots.txt — по этому и считается «отношение к ИИ».
списки блокировок#: Открытые списки доменов — зеркала реестра запрещённых сайтов, фишинг, вредоносное ПО, спам. Попадание в список не равно «заблокирован Роскомнадзором»: списки шире реестра, а сам реестр отдаётся только по запросу с подписью.
llms.txt#: Предложенный в 2024 году файл в корне сайта, который объясняет языковым моделям, что на сайте главное и куда смотреть. Пока редкость.
Open Graph#: Разметка для карточек ссылок в соцсетях и мессенджерах: заголовок, описание и картинка, которые показываются при отправке ссылки.
robots.txt#: Файл в корне сайта с просьбами к роботам: что можно обходить, а что нет. Именно просьба: добросовестные роботы её выполняют, остальные — нет.
schema.org#: Словарь разметки данных на странице — для поисковиков: организация, товар, отзыв, вопрос-ответ. По ней сайт сообщает о себе структурно, а не текстом.

Как устроена перепись

векторы#: Числовое представление текста главной страницы, по которому ищутся похожие сайты и собираются смысловые кластеры.
глубокий разбор#: Второй проход по живому сайту: контакты и реквизиты, тематика, регион, карта сайта, robots.txt, ссылки. Идёт после HTTP-обхода и только у живых.
граф владельцев#: Домены, у которых совпали ИНН, контакты, счётчики аналитики или сертификат, — вероятно, один владелец. Каждое ребро подписано сигналом и его весом.
ИНН#: Идентификационный номер налогоплательщика — реквизит компании или ИП, найденный на самом сайте: в подвале, на страницах «о нас» и «реквизиты». По нему видно юридическое лицо за сайтом; с ЕГРЮЛ сверка не проводится.
обход содержимого#: Сбор до двадцати страниц сайта с датами публикаций и текстом — чтобы видеть, что сайт публикует и как давно.
перепись#: Полный проход по всем доменам зон .ru, .рф и .su — не по выборке и не по чужому списку. У каждого домена спрашивается DNS, затем сайт, реестр и, у живых, содержимое.
профиль сайта#: Разбор главной страницы живого сайта: движок, техстек, тип, факты о вёрстке, ошибках, роботах. Строится на этапе HTTP-обхода.
смысловой кластер#: Группа сайтов с похожими текстами главной, найденная по векторам. Подпись кластера — его характерные слова.
снимок в браузере#: Проход настоящим Chromium: снимок главной страницы, замер скорости (LCP, TTFB, CLS), проверка мобильной вёрстки и ошибок скриптов.
срез#: Ночной пересчёт статистики по последнему обходу каждого сайта. Срезы хранятся, поэтому у каждой цифры есть дата и история.
CC BY 4.0#: Лицензия Creative Commons «с указанием авторства»: данные Тенура можно свободно использовать и публиковать, сославшись на источник.

Чего-то не хватает? Каждое слово на сайте можно проверить на карточке любого домена — там у каждого замера есть дата и источник. Как устроена перепись.