BulkCheck

Массовая проверка robots.txt

Файл robots.txt определяет, какие части сайта поисковые системы имеют право сканировать, и одна ошибочная строка способна незаметно убрать из индекса целый раздел. Эта массовая проверка запрашивает /robots.txt для каждого домена из списка — сначала по HTTPS, при неудаче по HTTP — и показывает статус ответа, количество редиректов на пути, размер файла, число объявленных директив Sitemap и не блокирует ли файл всех роботов группой «User-agent: *» с «Disallow: /». Статус 404 помечается как нормальный, а не ошибка: он означает лишь, что robots.txt на сайте нет, и поисковики считают это «всё разрешено». Используйте инструмент после миграций и смены платформы, чтобы убедиться, что перенесённые правила случайно не запретили большие части сайта, и чтобы найти sitemap-файлы, забытые в Search Console. До ста доменов проверяются параллельно, готовый отчёт фильтруется и выгружается в CSV.

Осталось заданий в этот час: 5 из 5 · сброс через ~29857966 мин 0 / 100

Как это работает

  1. Вставьте до 100 адресов, по одному на строку. Дубликаты удаляются автоматически.
  2. Если в строке вставлен полный URL, из него берётся только имя хоста.
  3. Проверка выполняется в фоне; на странице результатов виден живой прогресс.
  4. Отфильтруйте отчёт по статус-коду и выгрузите его в CSV.

Лимит: 5 заданий в час с одного IP-адреса. Результаты хранятся 7 дн.

Частые вопросы

Статус 404 для robots.txt — это ошибка?

Нет. 404 означает, что robots.txt на сайте просто нет, и поисковые системы считают это «сканировать всё разрешено». Такая строка помечается обычным статусом 404, а не ошибкой.

Что означает «Блокирует всех роботов»?

В robots.txt есть группа «User-agent: *» с правилом «Disallow: /» — весь сайт закрыт для всех послушных роботов, включая Google и Bing. Обычно это забытая настройка тестового сервера.

Почему в отчёте есть и https, и http?

Проверка сначала запрашивает https://домен/robots.txt. Если запрос не удался или вернул ошибку 4xx/5xx — повторяет по http://. Колонка «Протокол» показывает, какая из попыток попала в отчёт.

Сколько хранятся результаты?

Задания и результаты хранятся 7 дн., затем автоматически удаляются. Отчёт доступен любому, у кого есть ссылка, поэтому не отправляйте конфиденциальные внутренние домены.