Hostgator.com банит боты "Яндекса"
Hostgator.com банит боты "Яндекса"Hostgator.com это популярный американский хостинг-провайдер, на чьих серверах в настоящий момент находится более миллиона сайтов. Есть среди них и российские сайты. Недавно было обнаружено, что этот хостинг-провайдер…банит поисковых роботов "Яндекса". После того, как вебмастера связались с поддержкой Hostgator.com по этому вопросу, ситуация была объяснена следующим образом:
- Боты "Яндекса" создают значительную нагрузку на сервера провайдера
- Их много и приходят они с разных IP-адресов
- И вообще, наш партнер это "Google"
Конечно, это не полная блокировка "Яндекса", а, скорее, ограничение доступа, часть ботов всё же получает возможность индексировать сайты в определенные периоды времени. 
Надо отметить, что конкуренция между поисковыми системами проявляется и таким образом, заключением прямых договоров о партнерстве с хостинг-провайдерами. Есть слухи о таком соглашении между "Яндекс" и "ВКонтакте", якобы социальная сеть прямо передает поисковику пользовательские данные, а так же между "Facebook" и "Bing", причем об этом партнерстве было прямо объявлено в прошлом году. Детали подобных договоров всегда остаются за завесой тайны, но понятно, что хостерам наверняка есть своя выгода от подобного сотрудничества, в то время как остальных ботов просто терпят.  
Роботов в интернете легче отследить, чем человека, и проще ограничить им доступ к тем или иным ресурсам. Почему бы хостинг-провайдерам не начать зарабатывать на визитах ботов поисковых систем на свои сервера?

8 Апреля 2011
Комментарии:  1

Возврат к списку



Комментарии пользователей:


Это нравится:0Да/0Нет
Михаил Губин
Это война стопудово. И от МС тоже видимо война в чем-то. Это наверняка оттого что гугл систему разрабатывает.
Новые темыОбъявленияСвободное общение
22:00 3snet - гемблинг, беттинг, форекс, бинарные опционы, майнинг 
18:22 Если страница не заходит в гугл 
18:20 Покупные ссылки 
16:22 Где найти "Независимое управление для разных типов площадок."? 
15:28 Не индексирует гугл 
15:04 Adtrafico - Правильная партнёрская сеть под бурж трафик 
13:01 Вторник Яндекс выдача 
21:39 Профильный прогон 200 рублей, Тиц (Икс) от 10, проверен Checktrust 
19:09 Хотите заказать статью для сайта на английском языке? 
19:05 Вёрстка и дизайн сайтов 
16:03 C1k: обмен Advcash , Perfect Money , skrill , NETELLER, крипта, приват24, тенге 
14:58 Антидетект Che browser 
14:03 BestChange – обменивать электронную валюту можно быстро и выгодно 
12:58 Качественный рерайт от 20 руб. за 1000 символов 
06:38 Вредоносный код добавили в аддоны Nano Adblocker и Nano Defender для Chrome 
17:22 Павел Дуров назвал три самые недооцененные вещи в жизни 
17:17 Linux - это максимальная свобода 
12:07 Ищу партнерку под Web Push Notifications 
20:22 YouTube запретит получать доход с видео, отрицающих изменения климата 
14:06 Несколько слов о том, почему ты должен выбрать нас! 
23:46 Alfaleads - твоя любимая CPA-сеть!