Программа Netpeak Spider показал, что на сайте куча битых ссылок

Сообщений: 1 Регистрация: Авг 2018

16 Сентября 2018 23:53

Программа Netpeak Spider показал, что на сайте куча битых ссылок. Код ошибки 503. Но все ссылки рабочие и находятся в топе в поисковиках. Подумала, что возможно ошибка и решила проверить конкурентов. Но, у них все хорошо и битых нет. Как вы думаете, почему так может быть?

Комплексное SEO продвижение в поисковых системах Яндекс, Google

Prapovednik

Модератор

Сообщений: 55935 Регистрация: Мар 2010

17 Сентября 2018 00:03

Тему перенёс в раздел "Свободное общение" из "Интересные темы", об этом сообщил в ЛС автору темы.

Ссылки с трафиком от 99 рублей. Опции.Гарантия.
☆
Продвигай сайты ЛЮБОЙ тематики! Вечные ссылки и статьи.
☆
Продвижение любых сайтов в ТОП-10

Иван

Сообщений: 2246 Регистрация: Янв 2014

17 Сентября 2018 12:07

Возможно дешевый хостинг не выдержал нагрузки программой, и страницы начали отдавать 503.

WGN

Сообщений: 8843 Регистрация: Июн 2015

17 Сентября 2018 13:00

Цитата
Иван пишет: и страницы начали отдавать 503.

Да ошибки 5хх это обычно ошибки на стороне сервера

♛ЛУЧШИЙ ПРОВЕРЕННЫЙ И САМЫЙ ДЕШЕВЫЙ ХОСТИНГ: HTTPS+АНТИВИРУС БЕСПЛАТНО!(ПОСТОЯННЫЕ АКЦИИ!)

✔СТАБИЛЬНЫЙ ЗАРАБОТОК БЕЗ НАПРЯГОВ-ОГРОМНЫЙ ПОДАРОЧНЫЙ БОНУС НА ВАШ СЧЕТ В $!

rushot

Сообщений: 529 Регистрация: Сен 2016

17 Сентября 2018 14:49

В .htaccess ненужных вредных ботов заблокируйте. Ресурсы кушают хорошо.

Код

RewriteCond %{HTTP_USER_AGENT} SemrushBot
RewriteRule (.*) - [F,L]
RewriteCond %{HTTP_USER_AGENT} AhrefsBot
RewriteRule (.*) - [F,L]
RewriteCond %{HTTP_USER_AGENT} MJ12bot
RewriteRule (.*) - [F,L]
RewriteCond %{HTTP_USER_AGENT} Riddler
RewriteRule (.*) - [F,L]
RewriteCond %{HTTP_USER_AGENT} aiHitBot
RewriteRule (.*) - [F,L]
RewriteCond %{HTTP_USER_AGENT} trovitBot
RewriteRule (.*) - [F,L]
RewriteCond %{HTTP_USER_AGENT} Detectify
RewriteRule (.*) - [F,L]
RewriteCond %{HTTP_USER_AGENT} BLEXBot
RewriteRule (.*) - [F,L]
RewriteCond %{HTTP_USER_AGENT} LinkpadBot
RewriteRule (.*) - [F,L]
RewriteCond %{HTTP_USER_AGENT} dotbot
RewriteRule (.*) - [F,L]
RewriteCond %{HTTP_USER_AGENT} FlipboardProxy
RewriteRule (.*) - [F,L]

Тарас

Сообщений: 116 Регистрация: Ноя 2010

18 Сентября 2018 14:26

Цитата
Иван пишет: Возможно дешевый хостинг не выдержал нагрузки программой, и страницы начали отдавать 503.

Полностью согласен.

Цитата
rushot пишет: В .htaccess ненужных вредных ботов заблокируйте. Ресурсы кушают хорошо.

При чем тут боты ? Если человек целенаправленно хотел проверить свой сайт.

ТС вам нужно было установить таймаут (задержку) между запросами в Netpeak Spider.

rushot

Сообщений: 529 Регистрация: Сен 2016

18 Сентября 2018 20:26

Цитата
Тарас пишет: При чем тут боты ? Если человек целенаправленно хотел проверить свой сайт.

Не вник в суть вопроса. Прошу прощения.

Определено хостинг очень слабенький, если сайт падает от этой программки.

Автору - если в вебмастере нет ошибок сервера, не парьтесь. Но с большим ростом посещаемости будут проблемы.

То что написал выше не в тему, делает иногда по >100 запросов в секунду. В логах nginx можно проследить. Они конечно полезные сервисы для исследования, но нафиг весь сайт своими роботами дербанить, особенно когда > 100000 страниц.

Редко, но иногда, если эта банда вместе приходит, то ложат (кладут) весь сервер. Было пару раз. Google и Yandex, как-то аккуратней действуют. В общем заблокировал.

Конечно можно и нужно защиту от DDoS поставить, но что-то лень.

26.06.2020 20:23	Программа для накрутки поведенческих факторов миф или вымысел давайте обсудим :)
29.04.2020 10:33	Партнерская программа приостанавливает работу
21.04.2020 15:49	Партнерка UDS. Мобильное приложение для бизнеса . Программа лояльности
12.04.2020 13:35	Партнерская программа Affpalace!
06.03.2020 15:23	Партнерская программа №1 в РФ по ремонту компьютерной и бытовой техники! (CPA 1000р)

Новые темы	Объявления	Свободное общение
19:01 ClickDealer- свои люди на рынке буржа! 18:08 Armorica - Товарная CPA Партнерка \| Прямые Офферы под любые ГЕО \| Смартлинка, Ротатор Баннеров 16:21 Крауд-маркетинг — способ продвижения сайта 2020 16:09 CMS для сайта 12:46 Монетизируем 100% adult траффика без остатков. 10:38 Букварикс: бесплатная программа для быстрого поиска ключевых слов 23:00 Семантическое ядро.	20:59 PROXY5.ru — Анонимные прокси дешево / IPv4 на 30 дней от 5$ 19:14 Спамер соц. сети Вконтакте 16:34 Куплю ссылки на сайт 11:45 Прокси IPv6 Россия 11:13 Продажа ссылок на 2-ух сайтах 09:41 ПРОДАЖА Credit Card (CC+CVV) различных стра 08:16 GammaVPN - VPN для профессионалов	21:47 форекс 18:25 [b]Webvork [/b]- международная товарная СРА сеть с сертифицированными офферами на Европу. 18:00 Повышение ИКС сайта - мое наблюдение 17:03 Осторожно кидалово, svk-native.ru не платит партнерам 14:53 Шашлыки в 2012-2020 году 14:45 Бесплатный Аудит от Кролика 22:00 Рыболовы "постапокалипсиса"