Программа Netpeak Spider показал, что на сайте куча битых ссылок
Страницы: 1
Программа Netpeak Spider показал, что на сайте куча битых ссылок
Программа Netpeak Spider показал, что на сайте куча битых ссылок. Код ошибки 503. Но все ссылки рабочие и находятся в топе в поисковиках. Подумала, что возможно ошибка и решила проверить конкурентов. Но, у них все хорошо и битых нет. Как вы думаете, почему так может быть?
Тему перенёс в раздел "Свободное общение" из "Интересные темы", об этом сообщил в ЛС автору темы.
Возможно дешевый хостинг не выдержал нагрузки программой, и страницы начали отдавать 503.
Цитата
Иван пишет:
и страницы начали отдавать 503.
Да ошибки 5хх это обычно ошибки на стороне сервера
В .htaccess ненужных вредных ботов заблокируйте. Ресурсы кушают хорошо.

Код
RewriteCond %{HTTP_USER_AGENT} SemrushBot
RewriteRule (.*) - [F,L]
RewriteCond %{HTTP_USER_AGENT} AhrefsBot
RewriteRule (.*) - [F,L]
RewriteCond %{HTTP_USER_AGENT} MJ12bot
RewriteRule (.*) - [F,L]
RewriteCond %{HTTP_USER_AGENT} Riddler
RewriteRule (.*) - [F,L]
RewriteCond %{HTTP_USER_AGENT} aiHitBot
RewriteRule (.*) - [F,L]
RewriteCond %{HTTP_USER_AGENT} trovitBot
RewriteRule (.*) - [F,L]
RewriteCond %{HTTP_USER_AGENT} Detectify
RewriteRule (.*) - [F,L]
RewriteCond %{HTTP_USER_AGENT} BLEXBot
RewriteRule (.*) - [F,L]
RewriteCond %{HTTP_USER_AGENT} LinkpadBot
RewriteRule (.*) - [F,L]
RewriteCond %{HTTP_USER_AGENT} dotbot
RewriteRule (.*) - [F,L]
RewriteCond %{HTTP_USER_AGENT} FlipboardProxy
RewriteRule (.*) - [F,L]
 
Цитата
Иван пишет:
Возможно дешевый хостинг не выдержал нагрузки программой, и страницы начали отдавать 503.


Полностью согласен.

Цитата
rushot пишет:
В .htaccess ненужных вредных ботов заблокируйте. Ресурсы кушают хорошо.


При чем тут боты ? Если человек целенаправленно хотел проверить свой сайт.

ТС вам нужно было установить таймаут (задержку) между запросами в Netpeak Spider.
Цитата
Тарас пишет:
При чем тут боты ? Если человек целенаправленно хотел проверить свой сайт.
Не вник в суть вопроса. Прошу прощения.

Определено хостинг очень слабенький, если сайт падает от этой программки.

Автору - если в вебмастере нет ошибок сервера, не парьтесь. Но с большим ростом посещаемости будут проблемы.


То что написал выше не в тему, делает иногда по >100 запросов в секунду. В логах nginx можно проследить. Они конечно полезные сервисы для исследования, но нафиг весь сайт своими роботами дербанить, особенно когда > 100000 страниц.

Редко, но иногда, если эта банда вместе приходит, то ложат (кладут) весь сервер. Было пару раз. Google и Yandex, как-то аккуратней действуют. В общем заблокировал.

Конечно можно и нужно защиту от DDoS поставить, но что-то лень.
Страницы: 1
Похожие темы:
Читают тему (гостей: 1, пользователей: 0, из них скрытых: 0)
Новые темыОбъявленияСвободное общение
21:18 Webvork - международная товарная СРА сеть с сертифицированными офферами на Европу. 
21:06 Кто как борется с ботами ПФ? 
16:51 Buymedia.biz - рекламная сеть 
13:36 Партнерская программа OWNR WALLET 
14:10 3snet - гемблинг, беттинг, форекс, бинарные опционы, майнинг 
11:52 Партнерская программа Xoffers с прямыми офферами в вертикалях форекс, крипта и бинарные опционы. 
22:22 DreamCash.tl - заработок на онлайн-видео. До 95% отчислений, отличный конверт! 
19:40 Высококачественные и надежные прокси-серверы и 5G 
16:16 ZennoPoster - софт №1 для автоматизации любых SEO задач! 
15:55 - Вечные ссылки с трастовых сайтов 2024 проверен FastTrust 
11:40 Криптовалютный обменник Xgram.io - новое воплощение качества 
11:10 4G/LTE Mobile Proxy 30+ geo  
10:21 TETChange-Обменник криптовалют 
22:58 Продам обменник криптовалюты, а также новый обменник под ключ с обучением. Скидки на скрипты обменника 
02:05 Точные прогнозы на футбол 
15:43 Заказать телефонный флуд. 
12:05 Ням-ням! - 8 деликатесов, которые когда-то ели только бедные люди 
11:25 Флуд звонками 
11:40 Кто сделает прогон для адалт сайта? 
09:25 Добро пожаловать в цифровой мир... 
10:31 Видимо, похороны СУПРа уже прошли как-то по-тихому