Роботы гугла и яндекста "забивают" сайты

Роботы гугла и яндекста "забивают" сайты, Интенсивность индексации

Сообщений: 22 Регистрация: Янв 2012

7 Июня 2013 15:26

Ситуация такая. Есть 5 сайтов на одном хостинг-акаунте, лимит 100 процессорных минут на сутки на весь акаунт. Сайты новостные, по 300-700 статей на каждом. Добавляю пачками по 10-15 штук раз в 3-4 дня. Посещалка мизерная, до 30 уников на один.За последнюю неделю нагрузка превышает лимит через день, хостер пока терпит, но чую недолго. Сайты на джумле 2.5, сложных сторонних компонентов нет, из левых только комментарии и облако тегов. Работают шустро.
Смотрел по логам - гугл и яндекс боты просто !живут! на них, все забито ихними ip-адресами, с утра до вечера одни и те же ботовские ip.

В основном:

"GET /index.php?searchword=%D0%BD%D0%BE%D1%87%D1%8C%D1%8E&ordering=&searchphrase=exact&Itemid=140&option=com_search HTTP/1.1" 200 7611 "-" "Mozilla/5.0 (compatible; YandexBot/3.0; +yandex.com/bots)"

"GET /analitics/8-news/567-samsung-otkryvaet-tsentry-r-amp-d-v-kieve-i-kharkove.html HTTP/1.1" 200 14800 "-" "Mozilla/5.0 (compatible; Googlebot/2.1; +www.google.com/bot.html)"
Такое впечатление, что сайты полностью переиндексируются раз в 2-3 дня. Единственная догадка: усиленная перелинковка страниц.

Собственно: ваши мысли и какие есть способы притомозить ботов?

Алик Яушев

Сообщений: 3448 Регистрация: Май 2011

7 Июня 2013 15:30

Их не победить. Улучшайте аккаунт.

Не подписываюсь на темы, так что не слежу за вопросами, которые вы оставляете в топике после меня. Если нужно получить ответ, пишите в ЛС с указанием ссылки на мой комментарий.

Сергей Макаренко

Сообщений: 1164 Регистрация: Ноя 2011

7 Июня 2013 15:56

этому обычно радуются, а вы расстроились smile:)

> SEO продвижение Бизнес-Сайтов

Михаил

Сообщений: 22 Регистрация: Янв 2012

7 Июня 2013 16:05

Цитата
Алик Яушев пишет: Их не победить. Улучшайте аккаунт.

Все тарифные планы имеют лимит в 100 процессорных минут, хоть на 1 сайт, хоть на 30. На большинстве виртуальных хостингов точно та же сотня. И я пока еще столько не сшибаю со своих сайтов, что бы VPS брать.

Coder

Сообщений: 10174 Регистрация: Мар 2013

8 Июня 2013 01:08

Цитата
Михаил пишет: есть способы притомозить ботов

Код
User-agent: Yandex Crawl-delay: 2 # задает таймаут в 2 секунды User-agent: * Disallow: /search Crawl-delay: 4.5 # задает таймаут в 4.5 секунды

Посмотрите:

_http://htmlweb.ru/analiz/robots

✓ Проверенные скрипты и полезности для сайта

✓ Курсы

✓ Сервис временных ссылок

mirturs

Сообщений: 995 Регистрация: Ноя 2010

8 Июня 2013 15:53

Может просто переехать на нормальный хостинг?

Разместил сайт с 4000 хостов за 115 руб.мес на хостинге BeGet.ru
Ссылки, которые работают

Админ Всея Руси

Сообщений: 61 Регистрация: Июн 2013

8 Июня 2013 16:43

Цитата

Михаил пишет:

Цитата
Алик Яушев пишет: Их не победить. Улучшайте аккаунт.

VPS за 3$ + nginx + php-fpm и будет вам счастье

JOK3R.

Сообщений: 3485 Регистрация: Дек 2012

10 Июня 2013 11:31

Зависит ещё также и от оптимизации самих пхп скриптов и базы данных и т.д.

Продвижение - Оптимизация - Анализ сайтов!

"Вкусняшки"

Я Джин

Сообщений: 676 Регистрация: Мар 2012

23 Июня 2013 20:02

Джокер дело говорит, БД джумлы нужно периодически чистить, таблица _session это вообще беда, если оптимизацию и чистка БД не проводилась пол года то самое время, нагрузка упадет в разы

fireroller

Сообщений: 609 Регистрация: Фев 2013

#10

24 Июня 2013 07:12

Цитата
Я Джин пишет: Джокер дело говорит, БД джумлы нужно периодически чистить, таблица _session это вообще беда, если оптимизацию и чистка БД не проводилась пол года то самое время, нагрузка упадет в разы

у меня есть таблица "b3vak_session" ,но в ней всего 3 сессии вида "aec4ba65550193e0b0174b05812e51b2 1" их просто нужно удалить? или 3 - это не критично?
и ещё есть "hqtvu_session","jifsk_session","silvt_session". Я так понимаю, все надо удалять?

Изменено: fireroller - 24 Июня 2013 07:17

Продавай свои услуги в новой бирже - http://vk.cc/4x0Lb9

Я Джин

Сообщений: 676 Регистрация: Мар 2012

#11

24 Июня 2013 09:21

3 не критично (это значит трафика нет скорее всего smile:)

), а вот:

Цитата
fireroller пишет: "hqtvu_session","jifsk_session","silvt_session".

все сайты на одной бд? 1 сайт = 1 бд, 1 таблица _session

если все сайты на одной бд то удалять ни чего не нужно (возможно), если же каждый сайт имеет свою бд то нужно смотреть по перефиксам\суфиксам

mcmweb

Сообщений: 204 Регистрация: Май 2010

#12

24 Июня 2013 09:43

иди на cishost.ru - там хоть 100 онлайн выдержит - есть конечно минусы - тех потдержка отвечает не всегда и в выходные их нет - бывают сбои - но в принципе можно дёщего сидеть - работает у них сайты быстро

Хостинг с мгновенной тех помощью eurobyte.ru

Приму смс Любая активация всего за 8 рублей! mcmweb@bk.ru sms-area.org

fireroller

Сообщений: 609 Регистрация: Фев 2013

#13

24 Июня 2013 10:02

Цитата
все сайты на одной бд? 1 сайт = 1 бд, 1 таблица _session

Сайт 1 и бд одна, просто раньше эксперементировал с шаблонами, мб чо-то напортачил)

Я Джин

Сообщений: 676 Регистрация: Мар 2012

#14

24 Июня 2013 10:42

тогда смотри конфиг файл, и в бд оставь только те таблицы что в конфиге, про дамп не забудь сначала, а то мало ли, вообще оптимизированная и чищенная бд на джумле с 700 статей это примерно 3 мб, ну плюс минус от размера статей зависит

Евгений Дударев

Сообщений: 230 Регистрация: Мар 2013

#15

24 Июня 2013 11:06

Цитата
Михаил пишет: какие есть способы притомозить ботов

Пропишите в robots.txt директиву Crawl-delay и закройте ненужные страницы от индексации (страницы результатов поиска, как минимум; они-то вообще хорошо жрут проц. время)

Похожие темы:

03.02.2020 21:20	Падает посещаемость с Гугла и Яндекса
08.07.2019 08:56	Сайт пропал из яндекса и гугла по всем запросам
07.02.2018 13:21	Излюбленная тема индексации Гугла
03.02.2018 21:05	В чем глюк гугла
12.11.2017 02:41	Индексация гугла что-то странное. Сколько по времени гугл индексирует сайты?

Читают тему (гостей: 1, пользователей: 0, из них скрытых: 0)

Новые темы	Объявления	Свободное общение
17:55 Dao.AD: Монетизация и покупка Push/Pops/Inpage и Video трафика! 17:04 Webvork - международная товарная СРА сеть с сертифицированными офферами на Европу. 15:43 Adtrafico - Правильная партнёрская сеть под бурж трафик 12:50 Партнерская программа OWNR WALLET 01:46 Настроить поставщиков в программе E-Trade PriceList Importer 15:26 Найти элемент в коде 11:51 Bropush - твой бро в монетизации сайта push-уведомлениями	18:17 Восстановление сайтов из Вебархива на Wordpress 17:59 Мобильные и Резидентные Прокси Для Соц Сетей \| 3 Гб Бесплатно 16:46 Ural-obmen.ru — выгодный сервис обмена 16:40 Obama.ru - безопасный обмен криптовалют и электронных денежных средств 13:54 Coin Click.cc - Быстрый и надежный обмен электронных валют в два клика 11:40 Высококачественные и надежные прокси-серверы и 5G 11:37 Google Voice - OLD аккаунты "SMS и звонки"	10:56 Видимо, похороны СУПРа уже прошли как-то по-тихому 12:48 Каспкрски ОС 11:21 Ням-ням! - 8 деликатесов, которые когда-то ели только бедные люди 01:05 Точные прогнозы на футбол 14:41 Бесплатный мини-аудит юзабилити и конверсии + технический SEO-аудит в подарок 15:24 Добро пожаловать в цифровой мир... 22:58 У меня дикая просадка по РСЯ за последние 3 суток