Поиск несуществующих страниц и тестирование сайта

В день знаний решил поделиться одним решением, которое использую не первый год. Данное решение не только не теряет своей актуальности, но и в свете ужесточения требований к качеству сайтов со стороны поисковых систем, все больше актуальность обретает.

Каждый вебмастер сталкивается с необходимостью проведения хотя бы базового тестирования сайта, который только что был выложен на хостинг. Такое тестирование необходимо, чтобы проверить правильно ли работает система управления, корректно ли она обрабатывает запросы к серверу и время обработки данных запросов, а так же выявить битые ссылки и несуществующие страницы. Поэтому возникает вопрос, как быстро проверить работоспособность только что выложенного сайта?

Самый любимый мой способ тестирования сайта, это использовать программу индексатор, которая может быстро собрать все ссылки, находящиеся на сайте, пройти по ним и показать результаты обращения к каждой странице с подробной информацией. В своей практике я использую бесплатную программу Xenu Link Sleuth.

Изначально данная программа была мною найдена, чтобы находить несуществующие страницы на сайте. Однако, несмотря на свою простоту при более детальном рассмотрении оказалось, что это идеальный инструмент для тестирования сайтов. Начинаем с ввода доменного имени сайта, который хотим протестировать:

После того, как программа протестирует сайт, она предложит сформировать отчет. Для желающих можно воспользоваться изучение отчета, но для меня гораздо полезнее изучать вывод программы:

Вывод программы содержит следующую информацию: запрашиваемый url; статус запроса; тип документа, отданного сервером; размер документа; title документа; дата при наличии; уровень вложенности; исходящие ссылки с документа; входящие внутренние ссылки сайта на документ; идентификатор сервера; ошибки при обработке; время загрузки страницы; кодировка страницы; description документа. Если коснуться темы поиска несуществующих страниц и ссылок на них, то эту информацию можно найти в колонке Status и Error. При этом можно воспользоваться расширенной информацией об ошибке, выбрав URL properties при клике правой кнопкой мыши на строке URL содержащего ошибку,

в которой самой основной является информация, на каких страницах сайта содержится ссылка на несуществующий документ или не работающий домен.

Помимо поиска несуществующих страниц данная программа может помочь во многих вещах, например, в тестировании скорости работы тех или иных страниц сайта, составляения правильной внутренней перелинковке и во многих других моментах. Поистине, простой и незаменимый инструмент веб-мастера.