Программа Netpeak Spider показал, что на сайте куча битых ссылок
Страницы: 1
Программа Netpeak Spider показал, что на сайте куча битых ссылок
Программа Netpeak Spider показал, что на сайте куча битых ссылок. Код ошибки 503. Но все ссылки рабочие и находятся в топе в поисковиках. Подумала, что возможно ошибка и решила проверить конкурентов. Но, у них все хорошо и битых нет. Как вы думаете, почему так может быть?
Тему перенёс в раздел "Свободное общение" из "Интересные темы", об этом сообщил в ЛС автору темы.
Возможно дешевый хостинг не выдержал нагрузки программой, и страницы начали отдавать 503.
Цитата
Иван пишет:
и страницы начали отдавать 503.
Да ошибки 5хх это обычно ошибки на стороне сервера
В .htaccess ненужных вредных ботов заблокируйте. Ресурсы кушают хорошо.

Код
RewriteCond %{HTTP_USER_AGENT} SemrushBot
RewriteRule (.*) - [F,L]
RewriteCond %{HTTP_USER_AGENT} AhrefsBot
RewriteRule (.*) - [F,L]
RewriteCond %{HTTP_USER_AGENT} MJ12bot
RewriteRule (.*) - [F,L]
RewriteCond %{HTTP_USER_AGENT} Riddler
RewriteRule (.*) - [F,L]
RewriteCond %{HTTP_USER_AGENT} aiHitBot
RewriteRule (.*) - [F,L]
RewriteCond %{HTTP_USER_AGENT} trovitBot
RewriteRule (.*) - [F,L]
RewriteCond %{HTTP_USER_AGENT} Detectify
RewriteRule (.*) - [F,L]
RewriteCond %{HTTP_USER_AGENT} BLEXBot
RewriteRule (.*) - [F,L]
RewriteCond %{HTTP_USER_AGENT} LinkpadBot
RewriteRule (.*) - [F,L]
RewriteCond %{HTTP_USER_AGENT} dotbot
RewriteRule (.*) - [F,L]
RewriteCond %{HTTP_USER_AGENT} FlipboardProxy
RewriteRule (.*) - [F,L]
 
Цитата
Иван пишет:
Возможно дешевый хостинг не выдержал нагрузки программой, и страницы начали отдавать 503.


Полностью согласен.

Цитата
rushot пишет:
В .htaccess ненужных вредных ботов заблокируйте. Ресурсы кушают хорошо.


При чем тут боты ? Если человек целенаправленно хотел проверить свой сайт.

ТС вам нужно было установить таймаут (задержку) между запросами в Netpeak Spider.
Цитата
Тарас пишет:
При чем тут боты ? Если человек целенаправленно хотел проверить свой сайт.
Не вник в суть вопроса. Прошу прощения.

Определено хостинг очень слабенький, если сайт падает от этой программки.

Автору - если в вебмастере нет ошибок сервера, не парьтесь. Но с большим ростом посещаемости будут проблемы.


То что написал выше не в тему, делает иногда по >100 запросов в секунду. В логах nginx можно проследить. Они конечно полезные сервисы для исследования, но нафиг весь сайт своими роботами дербанить, особенно когда > 100000 страниц.

Редко, но иногда, если эта банда вместе приходит, то ложат (кладут) весь сервер. Было пару раз. Google и Yandex, как-то аккуратней действуют. В общем заблокировал.

Конечно можно и нужно защиту от DDoS поставить, но что-то лень.
Страницы: 1
Похожие темы:
Читают тему (гостей: 1, пользователей: 0, из них скрытых: 0)
Новые темыОбъявленияСвободное общение
20:05 С чего сейчас проще начать? 
18:58 Яндекс Нейро и выдача в 2026 - остались ли лазейки для маленьких сайтов? 
18:49 Биржи ссылок в 2026 - реально ли новичку с одним сайтом поднять копейку? 
18:46 Гугл запустил Первый АПдейт года и серп уже трясёт - Google March 2026 Core Update 
13:09 Выбор CMS для первого блога в 2026 - реально ли новичку войти без кода? 
12:47 MAX попер в бурж: 40 стран, ведение каналов и горы дешевого трафика 
12:33 APK на паузе. Google убивает быстрый конверт 
20:37 BestX24 - быстрый и безопасный обменник криптовалют и электронных денежных средств 
19:58 SpeedyIndex - ускорение индексирования ссылок в Google. 100 ссылок в подарок. 
14:11 Продам аккаунты Gmail USA IP | Gmail MIX IP | Outlook Old 
09:40 Вериф аккаунты АВИТО + платежи 
09:22 Софт для рассылки в телеграм 
09:16 Telegram-бот конструктор: автоответы, воронки, поддержка и т.д 
00:05 TETChange-Обменник криптовалют 
18:19 8 марта: желаю аптайма 99.9% и e-e-a-t без локов 
18:11 Голландцы влепили Grok по яйцам - теперь нельзя раздевать реальных людей, штраф 100к евро в день 
13:04 Gartner обещал смерть SEO к 2026 году. Открываем метрику и проверяем 
18:49 Чак Норрис ушел - 19 марта 2026, 86 лет, семья подтвердила 
17:05 Огородники 
13:02 С юмором по жизни! 
05:10 Точные прогнозы на футбол