Программа Netpeak Spider показал, что на сайте куча битых ссылок

Сообщений: 1 Регистрация: Авг 2018

16 Сентября 2018 23:53

Программа Netpeak Spider показал, что на сайте куча битых ссылок. Код ошибки 503. Но все ссылки рабочие и находятся в топе в поисковиках. Подумала, что возможно ошибка и решила проверить конкурентов. Но, у них все хорошо и битых нет. Как вы думаете, почему так может быть?

Prapovednik

Модератор

Сообщений: 64916 Регистрация: Мар 2010

17 Сентября 2018 00:03

Тему перенёс в раздел "Свободное общение" из "Интересные темы", об этом сообщил в ЛС автору темы.

1. Продвигай сайты ЛЮБОЙ тематики! Вечные ссылки и статьи.
*
2. Альтернативная монетизация на Ютуб на ЛЮБОМ КОНТЕНТЕ.

Иван

Сообщений: 2247 Регистрация: Янв 2014

17 Сентября 2018 12:07

Возможно дешевый хостинг не выдержал нагрузки программой, и страницы начали отдавать 503.

WGN

Сообщений: 9905 Регистрация: Июн 2015

17 Сентября 2018 13:00

Цитата
Иван пишет: и страницы начали отдавать 503.

Да ошибки 5хх это обычно ошибки на стороне сервера

✔(НЕЙРОСЕТЬ) Качественные живые посетители на ваш сайт, блог, канал — Бесплатно!!!

♛ЛУЧШИЙ ПРОВЕРЕННЫЙ и САМЫЙ НЕДОРОГОЙ ХОСТИНГ: АКЦИИ!

rushot

Сообщений: 541 Регистрация: Сен 2016

17 Сентября 2018 14:49

В .htaccess ненужных вредных ботов заблокируйте. Ресурсы кушают хорошо.

Код

RewriteCond %{HTTP_USER_AGENT} SemrushBot
RewriteRule (.*) - [F,L]
RewriteCond %{HTTP_USER_AGENT} AhrefsBot
RewriteRule (.*) - [F,L]
RewriteCond %{HTTP_USER_AGENT} MJ12bot
RewriteRule (.*) - [F,L]
RewriteCond %{HTTP_USER_AGENT} Riddler
RewriteRule (.*) - [F,L]
RewriteCond %{HTTP_USER_AGENT} aiHitBot
RewriteRule (.*) - [F,L]
RewriteCond %{HTTP_USER_AGENT} trovitBot
RewriteRule (.*) - [F,L]
RewriteCond %{HTTP_USER_AGENT} Detectify
RewriteRule (.*) - [F,L]
RewriteCond %{HTTP_USER_AGENT} BLEXBot
RewriteRule (.*) - [F,L]
RewriteCond %{HTTP_USER_AGENT} LinkpadBot
RewriteRule (.*) - [F,L]
RewriteCond %{HTTP_USER_AGENT} dotbot
RewriteRule (.*) - [F,L]
RewriteCond %{HTTP_USER_AGENT} FlipboardProxy
RewriteRule (.*) - [F,L]

Тарас

Сообщений: 116 Регистрация: Ноя 2010

18 Сентября 2018 14:26

Цитата
Иван пишет: Возможно дешевый хостинг не выдержал нагрузки программой, и страницы начали отдавать 503.

Полностью согласен.

Цитата
rushot пишет: В .htaccess ненужных вредных ботов заблокируйте. Ресурсы кушают хорошо.

При чем тут боты ? Если человек целенаправленно хотел проверить свой сайт.

ТС вам нужно было установить таймаут (задержку) между запросами в Netpeak Spider.

rushot

Сообщений: 541 Регистрация: Сен 2016

18 Сентября 2018 20:26

Цитата
Тарас пишет: При чем тут боты ? Если человек целенаправленно хотел проверить свой сайт.

Не вник в суть вопроса. Прошу прощения.

Определено хостинг очень слабенький, если сайт падает от этой программки.

Автору - если в вебмастере нет ошибок сервера, не парьтесь. Но с большим ростом посещаемости будут проблемы.

То что написал выше не в тему, делает иногда по >100 запросов в секунду. В логах nginx можно проследить. Они конечно полезные сервисы для исследования, но нафиг весь сайт своими роботами дербанить, особенно когда > 100000 страниц.

Редко, но иногда, если эта банда вместе приходит, то ложат (кладут) весь сервер. Было пару раз. Google и Yandex, как-то аккуратней действуют. В общем заблокировал.

Конечно можно и нужно защиту от DDoS поставить, но что-то лень.

Новые темы	Объявления	Свободное общение
19:55 SEO под нейро 18:04 Нужна помощь советом! 16:56 Webvork - международная товарная СРА сеть с сертифицированными офферами на Европу. 14:47 Dao.AD: Монетизация и покупка Push/Pops/Inpage и Video трафика! 14:23 SharkBoss - партнёрская программа для монетизации ЛЮБЫХ видов трафика (включая спам). 09:44 SEO 2025 - контент, уже не главное. Главное - Конечная цель... 06:06 Яндекс прекращает поддержку технологии Турбо	22:04 KRaKeN или КРаКеН?? Все ССЫЛКИ 2025 ! Доступный Список Рабочих Ссылок и Зеркал Для Безопасного Входа в KRAKEN + Рекомендации 16:08 Expa24.com Обмен Криптовалют. Ввод/Вывод наличные Украина/Северный Кипр/Мир 15:28 Бесплатные виртуальные роутеры от ARB. Лучшее решение для подключения прокси на виртуальных машинах 15:22 BIGPROXY.SHOP - Резидентные Ротационные Backconnect Proxy USA EUROPA MIX [Безлимитный трафик] 14:26 VING.exchange — простой и надежный обмен криптовалют на СБП RUB 12:10 Скрипт обменника валют 11:08 Фриланс-платформа Work24	22:29 Точные прогнозы на футбол 14:58 150+ хакерских поисковых систем и инструментов 17:41 Стряхнуть обыденность - об Агасфере 10:54 Добро пожаловать в цифровой мир... 22:39 Топ-5 способов использовать мобильные прокси для бизнеса: подробный обзор 11:58 Куплю проигрышные букмекерские аккаунты 00:12 Огородники

Новые темы

Объявления

Свободное общение

19:55 SEO под нейро
18:04 Нужна помощь советом!
16:56 Webvork - международная товарная СРА сеть с сертифицированными офферами на Европу.
14:47 Dao.AD: Монетизация и покупка Push/Pops/Inpage и Video трафика!
14:23 SharkBoss - партнёрская программа для монетизации ЛЮБЫХ видов трафика (включая спам).
09:44 SEO 2025 - контент, уже не главное. Главное - Конечная цель...
06:06 Яндекс прекращает поддержку технологии Турбо

22:04 KRaKeN или КРаКеН?? Все ССЫЛКИ 2025 ! Доступный Список Рабочих Ссылок и Зеркал Для Безопасного Входа в KRAKEN + Рекомендации
16:08 Expa24.com Обмен Криптовалют. Ввод/Вывод наличные Украина/Северный Кипр/Мир
15:28 Бесплатные виртуальные роутеры от ARB. Лучшее решение для подключения прокси на виртуальных машинах
15:22 BIGPROXY.SHOP - Резидентные Ротационные Backconnect Proxy USA EUROPA MIX [Безлимитный трафик]
14:26 VING.exchange — простой и надежный обмен криптовалют на СБП RUB
12:10 Скрипт обменника валют
11:08 Фриланс-платформа Work24

22:29 Точные прогнозы на футбол
14:58 150+ хакерских поисковых систем и инструментов
17:41 Стряхнуть обыденность - об Агасфере
10:54 Добро пожаловать в цифровой мир...
22:39 Топ-5 способов использовать мобильные прокси для бизнеса: подробный обзор
11:58 Куплю проигрышные букмекерские аккаунты
00:12 Огородники

21.10.2024 16:24	Партнерская программа Betonfav.com - сервис для беттинга
09.08.2023 17:30	Партнерка True-Meds.net Реферальная программа 100$ за рефа
14.06.2022 19:16	Бесплатная программа переподготовки блогеров в производственных рабочих
25.10.2021 14:56	Партнерская программа курсов по заработку в сети.
01.06.2021 12:00	ArenaBet Affiliates — партнерская программа прямого рекламодателя