Программа Netpeak Spider показал, что на сайте куча битых ссылок

Сообщений: 1 Регистрация: Авг 2018

16 Сентября 2018 23:53

Программа Netpeak Spider показал, что на сайте куча битых ссылок. Код ошибки 503. Но все ссылки рабочие и находятся в топе в поисковиках. Подумала, что возможно ошибка и решила проверить конкурентов. Но, у них все хорошо и битых нет. Как вы думаете, почему так может быть?

Прогон по твиттеру, постинг в 1500 аккунтов
Постинг в твиттер аккаунты, для ускорения индексации ваших сайтов, сателлитов, дорвеев.

Prapovednik

Модератор

Сообщений: 53662 Регистрация: Мар 2010

17 Сентября 2018 00:03

Тему перенёс в раздел "Свободное общение" из "Интересные темы", об этом сообщил в ЛС автору темы.

Продвижение любых сайтов в ТОП-10
☆
PolChange.ru - Мониторинг для обмена электронных валют
☆
ВЕЧНЫЕ ССЫЛКИ С АВТОРИТЕТНЫХ РЕСУРСОВ!

Иван

Сообщений: 1969 Регистрация: Янв 2014

17 Сентября 2018 12:07

Возможно дешевый хостинг не выдержал нагрузки программой, и страницы начали отдавать 503.

WGN

Сообщений: 7827 Регистрация: Июн 2015

17 Сентября 2018 13:00

Цитата
Иван пишет: и страницы начали отдавать 503.

Да ошибки 5хх это обычно ошибки на стороне сервера

♛ЛУЧШИЙ ПРОВЕРЕННЫЙ НЕДОРОГОЙ ХОСТИНГ - АНТИВИРУС БЕСПЛАТНО!

➤Ежедневный доход с push рассылок! В разы больше чем в ADSENSE и РСЯ !!!

rushot

Сообщений: 388 Регистрация: Сен 2016

17 Сентября 2018 14:49

В .htaccess ненужных вредных ботов заблокируйте. Ресурсы кушают хорошо.

Код

RewriteCond %{HTTP_USER_AGENT} SemrushBot
RewriteRule (.*) - [F,L]
RewriteCond %{HTTP_USER_AGENT} AhrefsBot
RewriteRule (.*) - [F,L]
RewriteCond %{HTTP_USER_AGENT} MJ12bot
RewriteRule (.*) - [F,L]
RewriteCond %{HTTP_USER_AGENT} Riddler
RewriteRule (.*) - [F,L]
RewriteCond %{HTTP_USER_AGENT} aiHitBot
RewriteRule (.*) - [F,L]
RewriteCond %{HTTP_USER_AGENT} trovitBot
RewriteRule (.*) - [F,L]
RewriteCond %{HTTP_USER_AGENT} Detectify
RewriteRule (.*) - [F,L]
RewriteCond %{HTTP_USER_AGENT} BLEXBot
RewriteRule (.*) - [F,L]
RewriteCond %{HTTP_USER_AGENT} LinkpadBot
RewriteRule (.*) - [F,L]
RewriteCond %{HTTP_USER_AGENT} dotbot
RewriteRule (.*) - [F,L]
RewriteCond %{HTTP_USER_AGENT} FlipboardProxy
RewriteRule (.*) - [F,L]

Тарас

Сообщений: 109 Регистрация: Ноя 2010

18 Сентября 2018 14:26

Цитата
Иван пишет: Возможно дешевый хостинг не выдержал нагрузки программой, и страницы начали отдавать 503.

Полностью согласен.

Цитата
rushot пишет: В .htaccess ненужных вредных ботов заблокируйте. Ресурсы кушают хорошо.

При чем тут боты ? Если человек целенаправленно хотел проверить свой сайт.

ТС вам нужно было установить таймаут (задержку) между запросами в Netpeak Spider.

rushot

Сообщений: 388 Регистрация: Сен 2016

18 Сентября 2018 20:26

Цитата
Тарас пишет: При чем тут боты ? Если человек целенаправленно хотел проверить свой сайт.

Не вник в суть вопроса. Прошу прощения.

Определено хостинг очень слабенький, если сайт падает от этой программки.

Автору - если в вебмастере нет ошибок сервера, не парьтесь. Но с большим ростом посещаемости будут проблемы.

То что написал выше не в тему, делает иногда по >100 запросов в секунду. В логах nginx можно проследить. Они конечно полезные сервисы для исследования, но нафиг весь сайт своими роботами дербанить, особенно когда > 100000 страниц.

Редко, но иногда, если эта банда вместе приходит, то ложат (кладут) весь сервер. Было пару раз. Google и Yandex, как-то аккуратней действуют. В общем заблокировал.

Конечно можно и нужно защиту от DDoS поставить, но что-то лень.

16.01.2019 13:11	Партнерская программа №1 в РФ по ремонту компьютерной и бытовой техники! (CPA 1000р)
04.06.2018 08:09	Программа для накрутки трафика и поведенческих факторов.До 10 000 трафика в сутки.
03.06.2018 19:24	Astro 7 партнерская программа
17.05.2018 18:38	Программа для быстрообхода ссылок
03.04.2018 00:04	Что за партнерская программа?

Новые темы	Объявления	Свободное общение
20:10 Яндекс - Нарушения и угрозы безопасности 19:17 Подскажите сервис по веб-аналитике 18:48 Adsense личный опыт 18:12 АП - 25.12.18 - ИКС 17:11 Лучшая рекламная сеть Traffic.ru! 16:27 Монетизация push-уведомлений 15:38 Сайт не оптимизирован для мобильных устройств	22:00 Нужно узнать секреты или поймать на лжи? 20:16 Старый сайт на тему криптовалют 19:45 Вечные ссылки с ТОПОВЫХ ресурсов! Размещение вечных трастовых ссылок с тИЦ от + 1000 до +45000 18:53 Комплексная раскрутка сайтов. Качественные услуги, прогоны и прочее. (3000+ отзывов) 18:37 Копирайтинг RU/EN, переводы высокого уровня (рус/англ/укр), SEO-оптимизированные тексты под ключ для выхода в Топ (2000+ отзывов) 16:50 Верстка сайтов 16:35 Продаю ssh-туннели	21:21 У кого домены на Defin.ru? Контора закрыватся.... 20:37 Посоветуйте обменник электронных денег. 18:16 Работа форума эти дни (около 19-20.01.2019) 15:48 Бесплатный мини-аудит юзабилити и конверсии + технический SEO-аудит в подарок 11:28 Ищу партнерку под Web Push Notifications 07:34 как начать зарабатывать 100 000 руб. в месяц 01:40 Заходишь на форум в час ночи по МСК и понимаешь