Добрый день!
Сегодня речь пойдет о полезной бесплатной утилите для проверки и оптимизации сайта.
Называется она Screaming Frog SEO Spider.
Программа написана на java и доступна под Windows и Mac. В wine под Ubuntu 11.04 к сожалению не запустилась, но есть вариант доустановить в wine java-машину.
Работать с этой софтиной достаточно просто. Натравливаем ее на url требуемого сайта и уже через несколько минут получаем список всех страниц на сайте с адресами, заголовками и мета-тегами. Также в отдельной вкладке отображаются все внешние ссылки с сайта. ЧТо немаловажно, в отдельной колонке отображаются заголовки ответа сервера. Очень быстро можно отловить страницы с 404 и 301 редиректом например.
Более подробное описание софтины с картинками и пояснениями смотрите вот здесь: