Проверка robots.txt
robots.txt — первый файл, который спрашивают поисковые системы, и одна ошибочная строка «Disallow: /» тихо убирает весь сайт из индекса.
Подробнее об инструменте
Проверка забирает файл ровно как робот (с фолбэком https → http), показывает код статуса и размер, перечисляет все объявленные Sitemap и прямо отвечает на страшный вопрос: не блокирует ли этот robots.txt всех? Первые 1000 символов файла показываются превью — правила можно прочитать, не открывая новую вкладку.
Как это работает
- Введите или вставьте один адрес (домен или URL).
- Нажмите «Проверить» — страница сразу откроет результат.
- Читайте вердикт: зелёный — всё хорошо, оранжевый — требует внимания, красный — проблема; рекомендация подскажет, что делать.
Бесплатно: 30 свежих проверок в час с одного IP; повторы в течение 10 минут берутся из кеша и ничего не тратят.
Нужно проверить много доменов сразу?
Массовая версия этого инструмента принимает целый список (по одному адресу на строку), строит живой отчёт и выгружает его в CSV.
Частые вопросы
Проверку можно подстроить под мои задачи?
Да. Задайте таймаут запроса (5–30 секунд) для медленных хостов и выберите, подсвечивать ли строки, чей robots.txt блокирует всех роботов. Раскрытие любой карточки показывает sitemap-адреса из файла и его начало — правила можно прочитать, не открывая сайт.
Статус 404 для robots.txt — это ошибка?
Нет. 404 означает, что robots.txt на сайте просто нет, и поисковые системы считают это «сканировать всё разрешено». Такая строка помечается обычным статусом 404, а не ошибкой.
Что означает «Блокирует всех роботов»?
В robots.txt есть группа «User-agent: *» с правилом «Disallow: /» — весь сайт закрыт для всех послушных роботов, включая Google и Bing. Обычно это забытая настройка тестового сервера.
Почему в отчёте есть и https, и http?
Проверка сначала запрашивает https://домен/robots.txt. Если запрос не удался или вернул ошибку 4xx/5xx — повторяет по http://. Колонка «Протокол» показывает, какая из попыток попала в отчёт.
Сколько хранятся результаты?
Задания и результаты хранятся 7 дн., затем автоматически удаляются. Отчёт доступен любому, у кого есть ссылка, поэтому не отправляйте конфиденциальные внутренние домены.
Другие быстрые проверки
Проверка домена по чёрным спискам
Проверьте, не в чёрных ли списках домен или IP: Spamhaus, Barracuda, SpamCop, SORBS, SURBL — мгновенный DNSBL-запрос, бесплатно.
Один домен — мгновенный результатПроверка кеш-заголовков
Проверьте кеш-заголовки любого URL онлайн: Cache-Control, max-age, ETag, Last-Modified, Expires — с вердиктом по TTL и рекомендациями.
Один домен — мгновенный результатПроверка HTTP-сжатия
Проверьте онлайн, отдаётся ли URL со сжатием gzip или brotli, и посмотрите измеренную экономию байтов на его реальном содержимом.
Один домен — мгновенный результатПроверка DNS-записей домена
Проверьте DNS-записи любого домена онлайн: A, AAAA, CNAME, MX, NS, TXT с TTL и запросом к своему DNS-серверу. Бесплатно и мгновенно.
Один домен — мгновенный результатПроверка срока регистрации домена
Узнайте, когда истекает любой домен: регистратор, даты регистрации и окончания, запас дней и статусы реестра через RDAP/WHOIS. Бесплатно и мгновенно.
Один домен — мгновенный результатПроверка HTTP-статуса страницы
Проверьте HTTP-статус любого URL онлайн: редиректы, полная цепочка переходов, конечный адрес и время ответа. Бесплатно и мгновенно.
Один домен — мгновенный результатПроверка индексации страницы
Проверьте, может ли страница индексироваться: noindex в мете и X-Robots-Tag, canonical, hreflang — судьба страницы в выдаче.
Один домен — мгновенный результатПроверка SPF, DKIM, DMARC и MX
Проверьте почтовые записи любого домена онлайн: MX, политику SPF и DMARC, селекторы DKIM — защищён ли домен от подделки писем.
Один домен — мгновенный результатПроверка метатегов (Title, Description, H1)
Проверьте метатеги любой страницы онлайн: длины Title и description, H1, meta robots, canonical и hreflang. Бесплатно и мгновенно.
Один домен — мгновенный результатПроверка смешанного контента
Проверьте любую HTTPS-страницу на смешанный контент онлайн: http:// скрипты, стили, iframe и изображения, которые браузеры блокируют или понижают. Бесплатно и мгновенно.
Один домен — мгновенный результатПроверка Open Graph и Twitter Cards
Проверьте теги Open Graph и Twitter Cards любой страницы: og:title, og:image, twitter:card и другие — готово ли превью для шаринга.
Один домен — мгновенный результатПроверка исходящих и битых ссылок
Проверьте внешние ссылки любой страницы онлайн: какие dofollow, сколько битых (4xx/5xx) — полный список со статусами. Бесплатно и мгновенно.
Один домен — мгновенный результатПроверка заголовков безопасности
Проверьте заголовки безопасности любого сайта онлайн: HSTS, CSP, X-Frame-Options, X-Content-Type-Options, Referrer-Policy и редирект на HTTPS.
Один домен — мгновенный результатПроверка sitemap.xml
Проверьте XML-карту любого сайта онлайн: доступна ли и валидна, сколько в ней URL, насколько свежий lastmod и работают ли дочерние карты индекса.
Один домен — мгновенный результатПроверка SSL-сертификата
Проверьте SSL-сертификат любого домена онлайн: валидность, издатель, дата окончания, запас дней, соответствие домену и список SAN. Бесплатно и мгновенно.
Один домен — мгновенный результатПроверка TTFB — время ответа сервера
Замерьте TTFB (время до первого байта) любого URL онлайн: DNS, соединение и TTFB раздельно, размер HTML и оценку A–F. Бесплатно и мгновенно.
Один домен — мгновенный результат