нагрузку на MySQL ( Бот Гугла возможно)
Страницы: 1 2 След.
нагрузку на MySQL ( Бот Гугла возможно)
Наш сайт превышал допустимую нагрузку на MySQL в несколько раз и нас уже гонят со второго хоста. А вот вчера нагрузка пришла в норму.С чем это может быть связано, мы ведь причину не нашли ???посещаемость сайта не падала . У нас еще в сутки каждый день по 28 000 переходов делает бот гугла .Вычислили по логам,что этот бот делает переходы в одну маленькую онлайн игру,мы ее удалили,но этот бот долбит все равно по этой ссылке у же неделю,хоть и ссылка выдает ошибку.Нагрузка случайно не может быть связана с этим как то?
Изменено: Slalex77 - 5 Апреля 2011 16:38

Бесплатная контекстная реклама

Вот этот бот и ссылка по чем долбит

66.249.72.182 - - [24/Mar/2011:14:22:22 +0300] "GET /Fallout_Quest/game.php?mod=game/bos/2&img=/game/bos/maccinli.png&r=785& HTTP/1.0" 200 24750 "-" "Mozilla/5.0 (compatible; Googlebot/2.1; +http://www.google.com/bot.html)"
Да, странное дело. smile:confused: А если в robots.txt запретить Гуглу по этой ссылке проходить?
Цитата
Дектор Пали пишет:
Да, странное дело. А если в robots.txt запретить Гуглу по этой ссылке проходить?
Этой ссылки уже нет,но он все равно переходит по ней, хоть выдает ошибку что этой страницы не существует.
Поставьте перенаправление на главную страницу сайта, еще и с пользой все будет )
Переходы с этого бота на сайт идут примерно 1- 2 перехода секунду.
Цитата
Олег пишет:
Поставьте перенаправление на главную страницу сайта, еще и с пользой все будет )
Мне пользы не надо,мне бы от нагрузки избавится.
Может принудительно задать промежуток побольше между повторными запросами бота?
Цитата
Дектор Пали пишет:
Может принудительно задать промежуток побольше между повторными запросами бота?
а каким образом это можно сделать?
Как-то в robots.txt можно прописать. Направьте силу Гугла против него самого: погуглите и узнааете! smile:D
Вот, нашёл:

Crawl-delay: устанавливает время, которое робот должен выдерживать между загрузкой страниц. Если робот будет загружать страницы слишком часто, это может создать излишнюю нагрузку на сервер. Впрочем, современные поисковые машины по умолчанию задают достаточную задержку в 1-2 секунды.

User-agent: *
Crawl-delay: 10

Вместо * надо, наверное, указать "Google"
Что то не могу понять как перекрутить гугл чтоб не пострадали другие поисковики ,пример кто может показать???


вот мой - robots.txt

User-Agent: *
Disallow: /panel/
Disallow: /stats/
Disallow: /cgi-bin/
Disallow: /theme/
Disallow: /incfiles/
Disallow: /cache/
User-Agent: *
Disallow: /panel/
Disallow: /stats/
Disallow: /cgi-bin/
Disallow: /theme/
Disallow: /incfiles/
Disallow: /cache/

User-agent: Googlebot
Crawl-delay: 10
=====================================
Проблемы с Wordpress? Решение здесь.
Цитата
BugFix пишет:
User-Agent: *
Disallow: /panel/
Disallow: /stats/
Disallow: /cgi-bin/
Disallow: /theme/
Disallow: /incfiles/
Disallow: /cache/
User-agent: Googlebot
Crawl-delay: 10


А пробел перед User-agent: Googlebot
Crawl-delay: 10 что значит?
Цитата
Slalex77 пишет:
А пробелпередUser-agent: Googlebot
Crawl-delay: 10что значит?

Можно поставить пробел, потом удобнее читать самому будет.

10 - количество секунд (минимальное) между повторными запросами робота. Чем оно больше, тем по идее меньше нагрузка на сервер, но немножко дольше индексация smile:)
Страницы: 1 2 След.
Похожие темы:
Читают тему (гостей: 1, пользователей: 0, из них скрытых: 0)
Новые темыОбъявленияСвободное общение
18:27 TeaserNet - тизерная сеть нового поколения! Высокие доходы, стабильные выплаты 
18:18 Изменение адреса для пин кода 
18:10 DreamCash.tl - заработок на онлайн-видео. До 95% отчислений, отличный конверт! 
17:45 Баден-баден мать его так... или жуть яндекса 
17:33 Яндекс обнулил всем значение тИЦ? 
17:32 Помогите решить вопрос, нету трафика с гугла 
17:27 AffiliateCube 3.0 - усовершенствованная платформа 
18:43 Сервис услуг в YouTube, Вконтакте, Instagram, Twitter, Facebook, Одноклассники, Google+ 
18:24 Продается сайт юридической тематики 
17:28 Услуги по созданию/доработки/правки сайтов на CMS DLE (Datalife Engine), Wordpress, Joomla! 
16:54 Комплексный прогон по трастовым сайтам, статейное размещение. Рост НЧ-СЧ, Тиц-пр. 
16:19 Качественный трастовый прогон с большими ТИЦками! Более 400 сайтов, общий тиц больше 100000! 
14:15 20 крутых ссылок всего за 499 рублей! Из них 14 сайтов в ЯК, 6 в DMOZ, средний ТИЦ 225. Только ручное размещение! 
13:05 Доработки по 2 сайтам DLE, PHP, htlm, css модули 
18:09 CPA Life 2017 – 12 Апреля в Санкт-Петербурге 
17:53 Советую вместо дом2 послушать аудиокнигу "Мани, или Азбука денег" Автор: Бодо Шефер 
15:49 Российские каналы +8 часов где смотреть? 
15:49 Читаете ли своим маленьким детям книги? (тема для родителей, а не всезнаек) 
12:43 Росконадзор штрафует за форму обратной связи 
23:09 Как сделать ПРОГНОЗ КЛЕВА 
22:51 Ищем не на чем сэкономить, а на чем заработать!