Программа Netpeak Spider показал, что на сайте куча битых ссылок

Сообщений: 1 Регистрация: Авг 2018

16 Сентября 2018 23:53

Программа Netpeak Spider показал, что на сайте куча битых ссылок. Код ошибки 503. Но все ссылки рабочие и находятся в топе в поисковиках. Подумала, что возможно ошибка и решила проверить конкурентов. Но, у них все хорошо и битых нет. Как вы думаете, почему так может быть?

Бесплатная контекстная реклама

Prapovednik

Модератор

Сообщений: 54219 Регистрация: Мар 2010

17 Сентября 2018 00:03

Тему перенёс в раздел "Свободное общение" из "Интересные темы", об этом сообщил в ЛС автору темы.

Продвижение любых сайтов в ТОП-10
☆
Продвигай сайты ЛЮБОЙ тематики! Вечные ссылки и статьи.
☆
> Решаю капчу через сервис RuCaptcha.com

Иван

Сообщений: 2134 Регистрация: Янв 2014

17 Сентября 2018 12:07

Возможно дешевый хостинг не выдержал нагрузки программой, и страницы начали отдавать 503.

WGN

Сообщений: 8331 Регистрация: Июн 2015

17 Сентября 2018 13:00

Цитата
Иван пишет: и страницы начали отдавать 503.

Да ошибки 5хх это обычно ошибки на стороне сервера

♛ЛУЧШИЙ ПРОВЕРЕННЫЙ И САМЫЙ ДЕШЕВЫЙ ХОСТИНГ: HTTPS+АНТИВИРУС БЕСПЛАТНО!

✔МОНЕТИЗИРУЙ СВОЙ САЙТ НА PUSH РАССЫЛКАХ-ДОХОД БОЛЬШЕ ЧЕМ в ADSENSE и РСЯ

rushot

Сообщений: 402 Регистрация: Сен 2016

17 Сентября 2018 14:49

В .htaccess ненужных вредных ботов заблокируйте. Ресурсы кушают хорошо.

Код

RewriteCond %{HTTP_USER_AGENT} SemrushBot
RewriteRule (.*) - [F,L]
RewriteCond %{HTTP_USER_AGENT} AhrefsBot
RewriteRule (.*) - [F,L]
RewriteCond %{HTTP_USER_AGENT} MJ12bot
RewriteRule (.*) - [F,L]
RewriteCond %{HTTP_USER_AGENT} Riddler
RewriteRule (.*) - [F,L]
RewriteCond %{HTTP_USER_AGENT} aiHitBot
RewriteRule (.*) - [F,L]
RewriteCond %{HTTP_USER_AGENT} trovitBot
RewriteRule (.*) - [F,L]
RewriteCond %{HTTP_USER_AGENT} Detectify
RewriteRule (.*) - [F,L]
RewriteCond %{HTTP_USER_AGENT} BLEXBot
RewriteRule (.*) - [F,L]
RewriteCond %{HTTP_USER_AGENT} LinkpadBot
RewriteRule (.*) - [F,L]
RewriteCond %{HTTP_USER_AGENT} dotbot
RewriteRule (.*) - [F,L]
RewriteCond %{HTTP_USER_AGENT} FlipboardProxy
RewriteRule (.*) - [F,L]

Тарас

Сообщений: 110 Регистрация: Ноя 2010

18 Сентября 2018 14:26

Цитата
Иван пишет: Возможно дешевый хостинг не выдержал нагрузки программой, и страницы начали отдавать 503.

Полностью согласен.

Цитата
rushot пишет: В .htaccess ненужных вредных ботов заблокируйте. Ресурсы кушают хорошо.

При чем тут боты ? Если человек целенаправленно хотел проверить свой сайт.

ТС вам нужно было установить таймаут (задержку) между запросами в Netpeak Spider.

rushot

Сообщений: 402 Регистрация: Сен 2016

18 Сентября 2018 20:26

Цитата
Тарас пишет: При чем тут боты ? Если человек целенаправленно хотел проверить свой сайт.

Не вник в суть вопроса. Прошу прощения.

Определено хостинг очень слабенький, если сайт падает от этой программки.

Автору - если в вебмастере нет ошибок сервера, не парьтесь. Но с большим ростом посещаемости будут проблемы.

То что написал выше не в тему, делает иногда по >100 запросов в секунду. В логах nginx можно проследить. Они конечно полезные сервисы для исследования, но нафиг весь сайт своими роботами дербанить, особенно когда > 100000 страниц.

Редко, но иногда, если эта банда вместе приходит, то ложат (кладут) весь сервер. Было пару раз. Google и Yandex, как-то аккуратней действуют. В общем заблокировал.

Конечно можно и нужно защиту от DDoS поставить, но что-то лень.

12.06.2019 13:30	Партнерская программа №1 в РФ по ремонту компьютерной и бытовой техники! (CPA 1000р)
20.03.2019 12:01	Astro 7 партнерская программа
17.02.2019 22:09	программа статейного продвижения
13.02.2019 15:01	DoubleBet - новая партнерская программа.
04.06.2018 08:09	Программа для накрутки трафика и поведенческих факторов.До 10 000 трафика в сутки.

Новые темы	Объявления	Свободное общение
23:34 Продвижение в ТОП Яндекс. Мега быстро! 16:10 Как обналичить деньги через Google Adsens? 15:04 Когда ставить рекламу на сайт 14:30 19 июня 2019 АП выдача 14:14 Turbobit.net - Официальная тема, Costaction ПП 15:21 Adtrafico - Правильная партнёрская сеть под бурж трафик 13:45 Edu-Revenue.com – партнёрка в нише эссе. До 75% за новые заказы, 35% – ребилы!	22:11 Профессиональное размножение текстов 21:46 Вёрстка 21:38 Купоны и аккаунты яндекс директ на 6000р. Самые низкие цены! 20:32 Продажа аккаунтов Яндекс Директ без НДС 19:42 Парсинг сайтов любой сложности 14:41 Услуги в области E-Commerce - недорого 14:32 BULLSSHOP.RU - Магазин Аккаунтов, Различные Gift карты, Всегда в наличии Ozon>Letyshops>Спортмастер>Мвидео>Ozon> и многое другое...	01:08 SEO продвижение сайтов в Яндекс, Google. Поднятие ИКС сайту, исправления ошибок, разработка стратегий 19:20 Посоветуйте фильм - фантастику 19:18 На какую тему создать сайт? 10:37 Что лучше для сайта прогон или контекст ? 09:12 Сколько у вас длилась модерация сайта в Дзене? 17:13 Кто поджёг РКН? 11:10 Lucky.Online - собственные офферы, КЦ 24/7, стабильно высокий апрув