Массовая проверка XML-карт сайта (sitemap)

Три шага по порядку. Сначала инструмент читает /robots.txt и учитывает каждую директиву Sitemap: — это официально рекомендованный способ объявить карту. Если в robots.txt их нет (или он недоступен), пробуется стандартный путь /sitemap.xml, затем /sitemap_index.xml (частое расположение у WordPress-плагинов). Побеждает первая карта, которая ответила разбираемым XML; точный использованный адрес виден в деталях строки.

Sitemap-индекс перечисляет дочерние файлы карт вместо URL. Проверка считает детей и — если не отключено в форме — скачивает до пяти из них, валидирует каждую и суммирует их URL в общий охват. Индексы с более чем пятью дочерними картами отдаются только количеством — большие сайты проверяются быстро; каждая скачанная карта видна в деталях.

Краулеры используют lastmod, чтобы решить, как активно перевизитировать URL. Если самый свежий lastmod в карте старше нескольких месяцев, поисковики резонно считают контент устаревшим и замедляются — как раз тогда, когда вы можете публиковать ежедневно. Проверка показывает возраст свежего lastmod в днях и подсвечивает его, когда тот переходит установленный порог (по умолчанию 30 дней), — забытый генератор карты становится виден одним взглядом.

Нет — этот инструмент аудирует саму карту, а не каждую страницу за ней. Подсчёт URL и чтение lastmod мгновенны; запрос тысяч страниц был бы медленным и невежливым к вашему хостингу. Если нужны статусы каждого URL, выгрузите их из карты и прогоните через «Массовую проверку HTTP-статусов» — инструменты рассчитаны на связку.

Нагрузка — несколько GET-запросов на домен: robots.txt, одна-две карты-кандидата и до пяти дочерних карт. Тела карт ограничены 3 МБ каждая, таймаут запроса настраивается. Это легче одного захода поискового робота на те же файлы.