Как найти битые ссылки – инструкции, советы, инструменты

Ситуации, когда человек нажимает на гиперссылку, а получает в ответ экран с ошибкой, неприятна для любого вебмастера. Ресурс теряет доверие посетителя, исключая его из базы постоянных читателей. Такой расклад отображается на доходе с монетизации.

Пусть на кратких временных промежутках это незаметно, для долгих дистанций сбора отчетности, потери станут куда яснее проявляться в процентах. К тому же, если забросить периодическую проверку сайта на наличие битых ссылок, есть риск снизить посещаемость на 30%-50%, а это ощутимый удар для любого онлайн-проекта в сети интернет.

В сегодняшней статье мы расскажем, как найти битые ссылки в кратчайшие сроки + какие инструменты для этой цели существуют в мировой сети интернет вообще.

Что такое битые ссылки?

Проводя аналогию с реальным миром, идеальной альтернативой станет географическая карта крупного масштаба.

К примеру, переучет зданий города производился в 2010 году. По текущим данным составлялась карта местности. В 2019 году топография изменилась. Некоторые дома переделали, а часть вообще снесли. Получается, что на карте указан дом №6, а в реальности здания уже более 5 лет не существует.

Если перенести картину на сайт, то битые ссылки – несуществующие дома, а карта – страницы ресурса. Переходя по гиперссылке, пользователь попадает в пустоту, хотя ожидает там увидеть определённый объект. Результат – разочарование в достоверности и отказ от карты. В нашем случае, дальнейших посещений сайта.

Битые ссылки – гиперссылки, ведущие на несуществующие страницы/ресурсы/файлы. К файлам относят чаще всего видео, музыку и картинки. Выдаваемый код ошибки в 90% случаев – 404.

Разновидности битых ссылок:

• внешние – отправляют пользователя не на сам сайт, а посторонние ресурсы в сети;
• внутренние – гиперссылки, ведущие на несуществующие страницы внутри структуры ресурса.

В результате переходов, пользователь попадает на один из двух экранов – «Ошибка 404» или «Ошибка 404 SOFT». Первый вариант ответа – стандартная реакция сервера на отсутствующую страницу сайта. Второй вариант – когда сервер отдает код 200 (страница существует), но та является пустой/отсутствующей. Иногда проскакивает и третий вариант – «Ошибка 410». Данную заглушку ставит вебмастер, чтобы показать поисковой системе о временном отсутствии страницы в рамках личного сайта.

Важно! Битые ссылки не только ухудшают поведенческие факторы в рамках ресурса, но и негативно влияют на ранжирование поисковыми системами. Снижается позиция ресурса даже при его активном SEO-продвижении, а это деньги на ветер.

Возникновение битых ссылок – рядовое явление, негативных последствий которого легко избежать при еженедельных бесплатных проверках. Благо в сети существует масса онлайн/офлайн программного обеспечения, которое может производить данную операцию автоматически.

Причины возникновения битых ссылок:

• при реорганизации веб-сайта. Человек переместил личный ресурс на другой домен, но решил не париться в отношении настройки постраничных 301 редиректов. К примеру, протоколы HTTP и HTTPS под одним и тем же адресом – это различные сайты;
• частичное/полное удаление страниц сайта. Недоработка новичков – удаление контента, но пропуск ссылок на исчезнувшие страницы. Популярная ошибка среди интернет-магазинов;
• опечатки в адресе при отсутствии настройки редиректа 301. Человек имеет в виду слэш, но при нажатии клавиши на сайте знак не пропечатался. Результат – битая ссылка;
• страница перемещена по новому адресу, но ссылки внутри ресурса остались прежние;
• сбой при автоматическом обновлении данных;
• перемены в адресах внешних сайтов, на которые имеются ссылки внутри ресурса. Если некоторые вебмастера и заботятся о проверке внутренних гиперссылок на битость, то в отношении внешних источников, подобная инициатива проявляется крайне редко.

Ссылаясь на внешний файл, которого уже не существует, результат операции будет аналогичным. Возможен вариант событий, когда ссылка на сам мультимедийный плеер работает, но файла внутри, как такового, нет. Человек ожидает прогрузки ролика, а получает сообщение с печальной мордашкой об отсутствии контента.

Заработок на ссылках через личный сайт и получение прибыли с рефералов

Как найти битые ссылки – обзор всех доступных вариантов

Начнем с распределения методов поиска битых ссылок по себестоимости – платные и бесплатные. Если у человека небольшой ресурс в 10-30 страниц, сделать проверку реально собственными силами, но при анализе громадных потоков информации в 1000-10 000 страниц, может уйти масса личного времени + не факт, что удастся выявить собственноручно все проблемные гиперссылки внутри сайта. Результат – впустую затраченное время + необходимость в платном решении проблемы.

Мы не намекаем на необходимость платить за услугу. В интернете существуют вполне приемлемые сканеры битых ссылок и бесплатного типа. Главное, знать где искать. Далее будут рассмотрены самые разные вариации, как платного, так и бесплатного ПО.

1) Как найти битые ссылки в онлайн-режиме?

Онлайн-проверка хороша тем, что для ее использования нет надобности в установке стороннего программного обеспечения на ПК. Перешел по ссылке, добавил сайт для анализа, запустил, и ждешь пока система проведет сканирование и выдаст на блюдечке все битые линки. Единственный минус – ограничения на количество проверяемых ссылок/страниц + открытие полного функционала за денежные взнос.

A) Online Broken Link Checker

Удобство	★★★★ (4.0 из 5.0)	Общая привлекательность ★★★★1/2★ 4.5
Функционал	★★★★ (4.0 из 5.0)
Отзывы	★★★★★ (5.0 из 5.0)

Бесплатный инструмент, проверяющий веб-сайты на наличие мертвых линков. У сканера имеется 2 версии – коммерческая и пользовательская. Платный вариант дает возможность анализировать неограниченное количество гиперссылок, сканировать вложенные папки, получать результаты, экспортированные в формате CVS, автоматизировать отправки отчетности по расписанию и многое другое. Для обсуждения условий платного сотрудничества, необходимо перейти на официальный сайт онлайн-сканера и связаться через форму с администрацией.

Возможности бесплатного онлайн-сканера битых ссылок:

• указание неверных позиций ссылки в коде;
• замечает Link rot и аналогичные слабости веб-сайта;
• поддержка проверки субдоменов;
• анализ до 3 000 страницы;
• сканирование внутренних и внешних ссылок;
• сообщение кодов ошибок;
• работа под любой операционной системой.

Анализ сайта конкурента

По версии WebHostingSearch.com, рассматриваемый ресурс признан одной из лучших бесплатных альтернатив для анализа проекта в отношении мертвых линков. К частичным минусам сервиса отнесем только ограничение по страницам и урезанный функционал в сравнении с коммерческим вариантом (не указывает на отсутствие картинок/документов), хотя, если вебмастер использует проект только для фильтрации битых гиперссылок, нареканий в работоспособности возникнуть не должно.

B) Dr Link Check

[adsense1]

Удобство	★★★★ (4.0 из 5.0)	Общая привлекательность ★★★★1/2★ 4.5
Функционал	★★★★★ (5.0 из 5.0)
Отзывы	★★★★ (4.0 из 5.0)

Хороший сервис, который обойдется в 13 долларов за месяц использования (пакет в 20 000 линков). Бесплатная версия не урезает функционал, но ограничения связаны с количеством проверяемых бесплатно ссылок – 2 500 в рамках 1 сайта и не более 7 500 ссылок в общем. При анализе учитываются как внешние, так и внутренние гиперссылки.

Преимущества Dr Link Check:

• бесплатное сканирование до 2 500 линков;
• сводная отчетность по внешним/внутренним и неработоспособным ссылкам;
• комплексная проверка URL с дополнениями – время отклика сервера, действительность сертификата SLL, указание кода возврата ошибки (404 или 500), проверка по «черным спискам», ценность наполнения и тому подобное;
• тонкая настройка фильтрации, позволяющая исключать из списка проверки ссылки по определённому правилу, установленного вебмастером;
• возможность автоматической планировки регулярных сканирований.

Основной минус сервиса – лимит в 20 000 проверяемых гиперссылок, и это при платном тарифе использования функционала ресурса. Более детально о возможностях и тарифах сервиса можете узнать на официальном сайте — https://www.drlinkcheck.com/. Проект поддерживает исключительно английский, ну а для полных профанов в иностранных имеется кнопка перевода от google в адресной строке.

С) Site 24×7 Link Checker

[adsense2]

Удобство	★★★★ (4.0 из 5.0)	Общая привлекательность ★★★★ 4.0
Функционал	★★★ (3.0 из 5.0)
Отзывы	★★★★ (4.0 из 5.0)

Простенький сервис, работающий на бесплатной основе, но имеющий расширенный функционал и постоянные мониторинговые планы от 9 до 225 евро за месяц. Последний вариант особо вкусный, ибо позволяет регулярно анализировать до 40 различных параметров работоспособности веб-сайта. Бесплатные возможности сервиса содержат всего 4 пункта – проверка страницы на наличие битых ссылок, проверка кодов состояния HTTP, валидатор HTML и проверка перенаправлений.

В платный пакет услуг входит:

• мониторинг HTTP / HTTPS из 90+ глобальных локаций;
• проверка производительности ресурса, количества реальных пользователей, наличие вирусов;
• мониторинг веб-службы SOAP, REST API, DNS, SSL / TLS, FTP-сервера, POP-сервера, IMAP-сервера, SMTP-сервера, доставка почты, веб-транзакции и прочее;
• анализ мобильного доступа через Android/IOS;
• PagerDuty, команды Microsoft, Slack, ServiceNow, OpsGenie, ManageEngine ServiceDesk Plus, ManageEngine SDP по требованию, AlarmsOne, HipChat, Stride, Zapier.

Анализ выдачи сайта по запросу? Мои 3 топовые инструмента

Набор и впрямь впечатляет, но цена… Вариант зайдет только для мониторинга крупных интернет-проектов в 5 000+ страниц – интернет-магазины, раскрученные форумы, торговые площадки, агрегаторы и так далее. В рамках узконаправленной проверки на битые ссылки, сервис подойдет только для маленьких сайтов в 10-30 страниц, не более.

D) Sitechecker

[adsense3]

Удобство	★★★★ (5.0 из 5.0)	Общая привлекательность ★★★★1/2★ 4.5
Функционал	★★★★ (5.0 из 5.0)
Отзывы	★★★★ (4.0 из 5.0)

Один из немногих качественных русскоязычных сканеров на битые ссылки, что имеется сейчас в сети Интернет. Ресурс, как и множество других, работает по двум схема – платная и бесплатная. Функционал ориентирован на предпринимателей, SEO-специалистов и разработчиков.

Что предлагает Sitechecker:

• выявление ошибок сервера;
• нахождение страниц с низкой скоростью загрузки;
• проверка адаптивности и работоспособности на любых устройствах;
• исследование ссылочной структуры в рамках всего сайта;
• выявление дублированного контента, битых ссылок и проблематичных мета-тегов;
• получение исчерпывающего отчета по SEO;
• аудит редиректов;
• анализ анкор листа определенной страницы;
• расчет веса страницы на основе формулы Google PageRank;
• поиск по URL и фильтрацию по типам ошибок;
• автоматическая система мониторинга изменений.

SEO-аудит сайта: с чего состоит и где его лучше всего заказать

Сканер работает под 95% доступных в 2019 году CMS. Для получения результатов первого сканирования, достаточно выполнить несколько шагов – указать домен, задать правила краулинга, запустить проверку и исследовать полученные данные.

Помимо оговоренного списка, вебмастеру могут пригодиться и менее привлекательные варианты онлайн-сканеров —  Dead Link Checker, Xenu Link Sleuth, W3C Link Validation Tool и Power Mapper Link Checker. Все они англоязычные, но при желании, разобраться в функционале всегда поможет переводчик от google.

2) Альтернативные методы проверки битых ссылок

[adsense4] Онлайн-проверка – простейший метод поиска битых ссылок, но проблема заключается в платности использования инструмента на постоянной основе. Если человеку не лень каждые 2-3 дня вручную заходить на сервис + количество его страниц удовлетворяет правила использования проекта – проблем нет, но для периодического мониторинга больших веб-сайтов придется платить деньги, при чем, иногда суммы совсем не маленькие.

Рассматриваемые альтернативы могут иметь костыльную последовательность действий, но большинство из них бесплатны, а для экономного вебмастера этот пунктик является, зачастую, решающим. Давайте рассмотрим каждый из вспомогательных вариантов проверки сайта на битые ссылки более детально.

A) Ручной поиск битых ссылок

Наиболее трудоемкий метод, но и действенный. Хотим обратить внимание, что ручная проверка актуальна только для сайтов с 10-50 страницами. Человеку придется самостоятельно открывать гиперссылки на каждой из страниц.

Предположим, что у типичного информационного сайта на 1 странице имеется до 10 гиперссылок. Итого, от 100 до 500 проверок. При должном усердии, на все про все уйдет до 60 минут. Ситуация изменяется если у нас интернет-магазин/форум, где на одной странице может находиться до 100 ссылок, а сама структура переваливает отметку в 1000 элементов. Придется потратить не одни сутки, чтобы все протыкать. Здесь куда удобнее воспользоваться иной альтернативой – онлайн-проверка, софт или услуги специалистов.

B) Фильтрация через поисковую систему

[adsense5] Метод принципиально не отличается от ручного поиска. Только вместо поочередного пролистывания страниц самостоятельно, все гиперссылки внутри сайта за вебмастера найдет поисковая система.

Оператор «site:» автоматически индексирует все доступные гиперссылки в рамках проверяемого ресурса. В результате получаем полный перечень, который потребуется проверить собственноручно.

С) Google Search Console

[adsense6] В быту инструмент именуют Гугл Вебмастер. Переделка на новый лад усовершенствовала некоторые моменты, сделав интерфейс более дружелюбным для рядового пользователя и вебмастера в сети.

Как проверить наличие битых ссылок через Google Search Console:

1. Переходим в раздел индексирования, во вкладку «Покрытие». В рабочей области окна находим плитку с надписью: «Исключено», и нажимаем по ней.



2. Попадаем в окно сведений, где отображается информация проверки, тенденции и количество страниц. Нас интересует 4 строка – «Не найдено 404». Исходя с рисунка ниже, обнаружено 3 проблемных гиперссылки.



3. Переходим к списку сканирования и получаем весь перечень битых ссылок в одном месте. Далее, подводим курсор к нужной гиперссылке и нажимаем по значку лупы – действие активирует комплексную проверку URL.

В результате повторной проверки каждой из ссылок, пользователь увидит базовые данные + адрес на ссылающуюся страницу, которой нет. Дальнейший алгоритм действий предельно прост – исправляем некорректную ссылку и переходим к следующей.

D) Вебмастер от Яндекса

[adsense7] Функционал аналогичен Google Search Console. Для доступа потребуется предварительная авторизация и переход в меню внутренних ссылок. Возможности открываются только для вебмастеров, подтвердивших факт владения анализируемым ресурсом. Следовательно, если у человека не имеется доступа к проекту, метод автоматически отпадает.

Как искать битые ссылки через Яндекс Вебмастер:

1. Открываем меню с разделами гиперссылок и перемещаемся в подраздел внутренние/внешние. В выпадающем списке останавливаем выбор на ссылках, запрещенных к индексированию/несуществующих.



2. Далее, деактивируем показ запрещенных к индексации URL путем нажатия необходимой пиктограммы левой кнопкой мышки.



3. Система отобразит только неверные гиперссылки по формату «Откуда-Куда». Первая часть отвечает за URL-адреса страницы, а вторая – сами урлы с ошибкой 404. Для исправления ситуации, щелкаем по левым гиперссылкам через встроенные инструменты Яндекс Вебмастера, находим пустые места и редактируем их/удаляем полностью.

Благодаря обширному функционалу, вебмастер через Яндекс может избавиться не только от битых ссылок, но и решить другие проблемные моменты в функционировании личного ресурса. К примеру, та же проверка доступности по регионам.

E) Плагин Broken Link Checker

[adsense8] Вариант подходит вебмастерам, выбравшим в качестве движка Вордпресс. К главным достоинствам инструмента отнесем повторное сканирование страниц сайта, прерывание анализа во время пиковой загруженности и редактирование/удаление битых ссылок в одном и том же окошке, без непосредственного перехода в сам WordPress редактор.

Перед началом использования оговоренного инструмента, плагин требуется установить на движок и активировать. Первое сканирование запускается автоматически.

Как проверить наличие битых ссылок через Broken Link Checker:

1. Первым делом, знакомимся с установленными настройками плагина через пункт «Настройки» — «Проверка ссылок». Разработчики постарались сделать набор «по умолчанию» оптимальным для большинства вебмастеров, потому, если у человека среднестатистический ресурс, вносить какие-либо изменения нет необходимости. К исключениям отнесем проекты с особым наполнением, либо профи ниши, желающих тонко настроить работу плагина именно для себя.



2. Набор доступных изменений поражает даже опытных вебмастеров. К востребованным отнесем периодичность проверок, отправка отчетов по обнаружению проблем на почтовый ящик, пользовательская настройка стиля отображения неверных URL и альтернативы для нерабочих гиперссылок.



3. По мере проверки ошибки, плагин отправит по пути «Инструменты» — «Неправильные ссылки».



4. Окно обработки битых ссылок выглядит как на скриншоте ниже. Для массового применения операций (удаление, редактирование, перепроверка, фиксация редиректов и так далее), необходимо поставить галочку в главном чекбоксе с описанием «URL» и нажать кнопку «Apply».



5. При желании последовательной обработки каждой битой ссылки в ручном режиме, в помощь придет 4 колонки – адрес испорченной гиперссылки, состояние (404), анкор линка и кликабельный заголовок страницы в котором находится битая ссылка.

При большом количестве битых гиперссылок рекомендуется использовать групповую обработку – это сократит время анализа на 70%-110%. Особенно осторожно следует себя вести с кнопкой удаления, ибо ее применение влечет за собой исчезновение всего объекта, в котором содержится битый линк. После проверки сайта, важно отключить расширение до следующей проверки – это снизит уровень нагрузки на хостинг, что для эконом-тарифов очень важно.

В видео рассказывается, что такое битые ссылки. Как они влияют на продвижение + каким образом их реально найти посредством онлайн-сканеров и установочных программных продуктов.

F) Поиск битых ссылок через установочный софт — Xenu Link Sleuth

Приложения располагают преимуществами перед сервисами онлайн типа, так как одна и та же задача исполняется с различным уровнем детализации. Если онлайн-сканер может пропустить 1%-2% битых линков, то у софта такой проблемы не наблюдается.

Xenu Link Sleuth не есть эталоном функциональности, но распространяется программа бесплатно. Основная задача приложения – поиск испорченных гиперссылок, но в комплекте идет и несколько дополнительных инструментов, относящихся к SEO-составляющей по анализу внутренностей веб-сайта. Хотя программа обновлялась последний раз в 2010 году – это не должно смущать пользователя, ибо алгоритм определения актуален до сих пор. Минус ПО кроется в совместимости – только операционная система Windows. Линуксоиды и Маки идут искать другие альтернативы.

Процесс установки ПО стандартный, потому, описывать его не имеет смысла. После первого запуска, необходимо добавить URL сайтов для проверки. И да, интерфейс софта, к сожалению, только англоязычный. Переходим в раздел файла – проверка URL (check URL). Установка галочки верхнего чекбокса дает возможность запустить проверку не только внешних, но и внутренних ссылок.

Обязательны к заполнению:

• URL для проверки на содержание битых ссылок (1). Системой они считаются внутренними. При наличии поддоменов, добавляем их после указания основной ссылки;
• URL, не подлежащие анализу (2). Сюда относят внешние линки-счетчики, баннеры и тому подобное.

Помимо базовых настроек окна, внизу имеется маленькая кнопочка «more options». При ее нажатии открывается еще одно окошко для тонкой настройки, текущей/будущей проверок, битых URL внутри анализируемого сайта.

В дополнительных опциях можно:

1. Ползунком поставить желаемое число потоков одновременной проверки. Следует понимать, что чем их больше, тем сильнее нагрузка на хостинг. Для эконом-тарифа и небольшого ресурса оптимальным значением будет 3-5, не более. При «богатых» проектах с оптимизаторами нагрузки, реально использовать одновременно до 10 потоков.
2. Максимально допустимая глубина сканирования. По умолчанию, значение составляет 999, что позволяет проверять максимальную вложенность страниц сайта с любой иерархической структурой.
3. Запрашивание сертификата/пароля по необходимости. Используется для проверки линков под протоколом защиты HTTPS.

Здесь же формируется пункты для финального отчета после запуска проверки наличия битых ссылок. Каждый вебмастер указывает значения, основываясь на личных требованиях в итоговым данным проверки.

Как происходит поиск битых ссылок на Xenu Link Sleuth:

1. Сохраняем настройки и переходим в рабочую область приложения. Нажимаем кнопку запуска и ожидаем завершения сканирования.
2. На экране выскакивает отчет. Для отображения неработающих линков вверху списка, воспользуемся столбцом фильтрации по статусу. Битые гиперссылки сосредоточатся вместе, а их цвет будет красным. В отчете имеется 2 типа ссылок – не найденные и без соединения. Для окончательного вердикта по вторым придется делать сканирование повторно, но это после разбора полетов с основным потоком битых гиперссылок.



3. Для подробного ознакомления с каждой из ссылок, выуживаем URL через нажатие и обращение к разделу настроек. Дальнейшая часть ручная. Вебмастер работает по одному алгоритму – копирует URL битой ссылки, вставляет ее в адресную строку, входит в админ-панель сайта для открытия доступа к редактированию и удаляет/исправляет элемент страницы. Ускорить процесс поиска поможет поле Title or link text.



4. Финал линк-квеста – отчет по пунктам, указанным в настройках при первом запуске программы.

Платным аналогом Xenu Link Sleuth с продвинутым набором функций служит профессиональное программное обеспечение под названием Netpeak Spider. У софта имеется 14-дневный бесплатный тестовый период. За дальнейшее использование придется выложить от 10 долларов в месяц. О других продуктах поговорим в таблице ниже.

Название ПО	Описание	Стоимость
SiteMap Generator	Программа создавалась как помощник оптимизатора в создании карты сайта. К дополнительным возможностям относят поиск битых линков, работа в 2+ потока, просмотр корневого каталога и тому подобное. Обновления ПО было в 2012 году, но на качестве требуемого функционала это не отображается.	Бесплатно
Semonitor	Еще один многофункциональный инструмент, позволяющий искать битые ссылки. Недостаток – платность софта, но для кратковременного использования приложение зайдет – 60 суток деморежима в помощь. Из списка возможностей стоит выделить - Page Rank анализатор, обмен гиперссылками, сайт-анализатор в который входит поиск битых ссылок и подбор ключевых слов.	от 1 500 до 3 000 рублей за различные версии ПО
Screaming Frog SEO Spider	Мощный инструмент с обширным набором функций, умеющий производить аудит ресурсов с точки зрения SEO-оптимизации + указывает на разнообразные ошибки технического характера (в том числе битые ссылки). Софт может анализировать поддомены вместе с основным сайтом, а для каждой страницы составляется мини-отчет с ошибками CSS, коды 4хх, редиректы 3хх, проблемы с кодировкой, дубли, проблемы в верстке и даже разметке.	149 Евро
KLinkStatus	Незамысловатая программка, распространяющаяся под штампом KDE. Является базовым софтом для некоторых сборок Ubuntu. Работоспособность на Windows проверена – все идет как по маслу. Из функциональных особенностей выделим протоколы для быстрой проверки нескольких документов, поддержка прокси, история анализа и ограничение глубины поиска.	Бесплатно

Исходя из обилия методов, найти битые ссылки для вебмастера не проблема. Еженедельная проверка избавит владельца сайта от массы неприятностей, связанных с негативными откликами по работоспособности ресурса и снижению посещаемости из-за проблем с доступом к части контента.