Массовая проверка индексации (noindex, X-Robots-Tag, canonical)
Страница может прекрасно выглядеть в браузере и быть невидимой для поисковых систем: один забытый после переезда со staging noindex, заголовок X-Robots-Tag, выставленный в конфиге сервера, или canonical, указывающий на…
Подробнее об инструменте
другой адрес, — и краулер молча обходит страницу стороной. Эта массовая проверка смотрит на каждый URL из списка глазами краулера: показывает мета-тег robots с флагами noindex и nofollow, заголовок ответа X-Robots-Tag (он работает, даже когда в HTML нет никакого мета-тега), canonical-ссылку со сверкой с конечным URL после редиректов и список hreflang-альтернатив со счётчиком на страницу. Всё, что закрывает страницу от индексации, подсвечивается — аудит целого раздела после редизайна или переезда занимает минуты: вставьте URL, просмотрите помеченные строки, поправьте шаблоны, повторите прогон. Отчёт выгружается в CSV для документирования и перепроверки после исправлений.
Как это работает
- Вставьте до 100 адресов, по одному на строку. Дубликаты удаляются автоматически.
- URL без схемы проверяются по https://.
- Проверка выполняется в фоне; на странице результатов виден живой прогресс.
- Отфильтруйте отчёт по статус-коду и выгрузите его в CSV.
Лимит: 5 заданий в час с одного IP-адреса. Результаты хранятся 7 дн.
Частые вопросы
Meta robots и X-Robots-Tag — в чём разница?
Директивы одни и те же, но мета-тег живёт в HTML, а X-Robots-Tag — заголовок HTTP-ответа. Заголовок применим к любому ресурсу — PDF, картинки — и обычно выставляется в конфиге сервера или CMS, поэтому страница порой несёт его без всякого видимого мета-тега. Инструмент проверяет и то и другое.
nofollow на странице блокирует индексацию?
Саму страницу — нет: nofollow в роботс-теге страницы просит краулера не переходить по её исходящим ссылкам. Страница при этом может индексироваться и показываться. Из выдачи страницу убирает именно noindex — в отчёте оба флага показаны раздельно.
Когда canonical «не ок»?
Когда canonical указывает не на конечный URL самой страницы (после редиректов). Иногда это сделано намеренно — дубли с параметрами, копии для синдикации, — но на страницах, которые должны ранжироваться сами, это обычно баг шаблона, поэтому отчёт помечает несовпадение к просмотру.
Редирект влияет на результат?
Да — теги читаются с финальной страницы после прохождения редиректов, ровно как это делает краулер. Конечный URL показан в отчёте, так что всегда видно, какая страница была проверена на самом деле.
Можно проверять не-HTML файлы?
Да. Заголовки X-Robots-Tag применимы к любым типам файлов и отображаются; мета-теги и canonical читаются только когда ответ похож на HTML — для PDF вы получите вердикт по заголовку.
Другие инструменты
Массовая проверка доменов по чёрным спискам (DNSBL)
Бесплатная массовая проверка по чёрным спискам: вставьте домены и проверьте их по Spamhaus, Barracuda, SpamCop, SORBS и SURBL за один прогон. Сразу видно, в блэклисте ли домен или его IP. Экспорт в CSV.
Принимает список доменовМассовая проверка DNS-записей (A, AAAA, MX, NS, TXT)
Бесплатная массовая DNS-проверка со своим DNS-сервером: вставьте домены и получите A, AAAA, CNAME, MX, NS, TXT, SOA и SRV записи, сгруппированные по типам, — по записи на строку, с TTL, приоритетами MX, кнопками копирования и экспортом в CSV.
Принимает список доменовМассовая проверка сроков регистрации доменов (RDAP)
Бесплатная массовая проверка сроков доменов через RDAP с автоматическим WHOIS-фолбэком: вставьте список доменов и получите регистратора, даты регистрации и окончания и остаток дней для каждого. Домены, истекающие в течение 30 дней, подсвечиваются. Ответы реестров кешируются на 24 часа. Экспорт в CSV.
Принимает список доменовМассовая проверка HTTP-статусов URL
Бесплатная массовая проверка HTTP-статусов: вставьте до 100 URL и получите коды ответов, цепочки редиректов, конечные адреса и время отклика. Экспорт результата в CSV.
Принимает список URLМассовая проверка почтовых записей (SPF, DKIM, DMARC, MX)
Бесплатная массовая проверка почтовых записей: вставьте домены и проверьте SPF, DKIM, политики DMARC и MX-записи. Убедитесь, что домены могут отправлять почту и не подделываются. Экспорт в CSV.
Принимает список доменовМассовая проверка метатегов (Title, Description, H1)
Бесплатная массовая проверка метатегов: вставьте URL и получите Title, мета-описание, H1 и счётчики заголовков с проверкой длин и поиском дублей. Экспорт SEO-аудита в CSV.
Принимает список URLМассовая проверка Open Graph и Twitter Cards
Бесплатная массовая проверка Open Graph: вставьте URL и проверьте og:title, og:description, og:image, twitter:card и остальные теги соцпревью. Экспорт отчёта в CSV.
Принимает список URLМассовая проверка исходящих ссылок и битых ссылок
Бесплатная массовая проверка исходящих ссылок: вставьте URL, посчитайте внешние и внутренние ссылки, dofollow/nofollow и найдите битые (404, 5xx, мёртвые домены). Экспорт аудита в CSV.
Принимает список URLМассовая проверка robots.txt
Бесплатная массовая проверка robots.txt: вставьте список доменов и узнайте статус /robots.txt, число редиректов, размер файла, количество директив Sitemap и не заблокированы ли все роботы. Экспорт в CSV.
Принимает список доменовМассовая проверка заголовков безопасности (HSTS, CSP)
Бесплатная массовая проверка заголовков безопасности: вставьте домены и проверьте HSTS, X-Content-Type-Options, CSP, X-Frame-Options, Referrer-Policy, Permissions-Policy и редирект на HTTPS. Экспорт в CSV.
Принимает список доменовМассовая проверка SSL-сертификатов
Бесплатная массовая проверка SSL-сертификатов: вставьте список доменов и сразу увидите субъект, издателя, соответствие домену, дату окончания и запас в днях до продления. Находите истекающие сертификаты до того, как они станут инцидентом. Экспорт в CSV.
Принимает список доменовМассовый замер TTFB и скорости
Бесплатный массовый замер TTFB: вставьте список URL и измерьте время до первого байта, полное время ответа и размер HTML каждой страницы. Экспорт отчёта в CSV.
Принимает список URL