Что такое прямые заходы в Яндекс Метрике или история о неуловимых IP у Hetzner Online AG
Страницы: 1
Что такое прямые заходы в Яндекс Метрике или история о неуловимых IP у Hetzner Online AG, как я потерял стабильный заработок из-за прямых заходов с серверов Hetzner Online AG
Всем привет. Я конечно понимаю, что многие ждут когда я освобожусь и наконец-то сделаю примеры и подробно опишу свою новую услугу, а также есть достаточно заказчиков, которые ждут отчеты с моей последней акции. Но я решил, что стоит уделить сабжу пару минут, чтобы предостеречь остальных вебмастеров.

Итак в чем вся соль? Вся соль в прямых заходах в Яндекс Метрике. Не знаю как Вы, но я раньше тупо игнорировал прямые заходы на свои сайты. В редких случаях я пытался разобраться откуда и в чем причина этих прямых заходов, но факт остается фактом, я не уделял этому вопросу внимания. Не знаю почему, может просто не верил в то, что эти прямые заходы могут как то сильно отразиться на моих сайтах (да и чего греха таить особо они и не влияли на мои сайты), а может причина в том, что сайтов слишком много и не успевал следить за подобными мелочами.

Ну закончим лирику и перейдем к сути дела.

Речь пойдет о одном моем буржуйском сайте. Сайт познавательный. Ежедневно там публикуется около 10 познавательных статей. Сайт уже устоявшийся, возрастной (более 2 лет). И самое главное независимый. То есть я вообще ничего не делаю с ним. У меня есть два копирайтера которые сами там рулят. А я только получаю деньги, то есть это мой пассивный заработок. И имел с на нем чистыми около 300-400 долларов в месяц (это чистая прибыль, то есть уже вычтена зп копирайторов и стоимость сервера).

В начале жизни сайта я потратил около полугода, чтоб его както маломальски раскрутить. поднял стабильный траф до 1000+ и отправил в свободное плаванье. за полтара - два года трафик подрос до 3000+ (без каких либо вложений и без какихто тело движений с моей стороны). Копирайтеры набили руку и начали писать более качественные и интересные тексты. Иногда траф прыгал до 5000-7000 но это было редко.

80% посетителей было с поисковиков.
5% переходы по ссылкам на сайтах
10% это переходы с соц сетей
5% это так всякий шлак.


Ну в общем жил не тужил я вот так чуть больше года. И тут летом начал обращать внимание, что мои поступления стали все падать и падать. Ну думаю лето, спад и вся фигня. Бывает... Наступила осень, а количество поступающих денег все меньше и меньше. И вот в октябре месяце ежемесячные поступления стали меньше 200 баксов (чистой прибыли). Просмотрел статистику посещений. Трафик остался на том же уровне, заметил только, что очень уменьшилась глубина просмотра. Я давно грешил на свой сервак, очень уж мне не нравилось, как медлено там все работало. Ну и было решено перенести сайт на другой хостинг. Долго искал, читал отзывы. И вот нашел нормального (вроде бы) хостера. Все у меня в нем устроило. Перебрался я туда. Все стало работать намного шустрее. Дал сайту "освоиться" и спустя три недели я понял, что глубина просмотра осталась на прежнем уровне. А вот с заработком вообще беда. Он упал до 100 баксов.


Ну что ж, как бы не хотелось это делать, но пришлось выделить личное время и уделить пристальное внимание к этой проблеме.


В общем полез я в метрику смотреть, что и как. И я просто офигел от того, что я там увидел. А увидел я следующее:

80% - прямые заходы
10% - поисковые запросы
5% - соц сети
5% - сайты


то есть более 2400 посещений это были прямые запросы. нахождение на сайте 0 секунд, 100% отказов.
Решил глюк яндекс метрики. У меня бывало такое когда, метрика определяла переходы с гугла (но чаще всего с соц сетей) как прямые запросы. Что делать? правильно! Ставим другой счетчик и смотрим как он их будет определять. Ставим ЛИ. И что мы видим? в течение 3 дней ЛИ показывает ту же ситуацию, то есть эти прямые заходы считаются за посетителей.


Ну что ж, вперед копаться и искать всю правду.

Захожу в метрике в географию. Смотрю что 99% прямых заходов были с Германии. Ясно понятно. вперед на поиски этих несчастных немцев которые так атакуют мой сайт. Полез в логи сайта. И вперед копаться в заходах. Ушло у меня на то чтобы найти заразу примерно дней десять (точно могу сказать, что это больше недели). Может быть ушло поменьше времени, если бы мой сайт не атаковали боты большинства известных поисковиков. Не хотелось бы банить даже тех же baidu и bing. Так как по старой памяти бинг давал мне минимум 20 человек в сутки. Напомню, что это бурж. А значит заработок там выше. И если с этих 20 человек хотябы 1-2 кликнут по рекламе то заработок уже набирается. (я приверженец поговорки Копейка рубль бережет).


Что же я нашел? А нашел я то, что все прямые заходы были от одного хостинг провайдера: Hetzner Online AG. Нет я не обвиняю самого Hetzner Online AG в том, что это они делали. Ясное дело, что ктото у Hetzner Online AG арендовал сервер, и пустил своего бота (crawler). Почему краулер а не парсер? ну потому, что я точно знаю что мои статьи нигде не публиковались в огромных количествах. Только обычная ситуация когда ктото делится ссылкой или текстом на форуме. А значит, скорей всего какой-то статистический сервис или ещё чтото. Проблема заключалась еще в том, что этот бот не имел названия, он очень четко маскировался под пользователя регулярно меняя юзер агента.

 Узнать откуда шли прямые запросы это только малая часть всего решения. нужно было на корню позакрывать им кислород. К сожалению скорей всего хостер Hetzner Online AG предоставил "пользователю" несколько IP-ов. Так как блокировка одного IP-а ничего не давала, блокировка диапозона так же ничего не давала, прямые заходы продолжали поступать, все меньше и меньше но продолжали.

По итогу я свел на нет все прямые заходы от хостера Hetzner Online AG.

Сейчас у меня все вернулось на круги своя.
80% - поисковики
10% - соц сети
5% - сайты
5% - все остальное

Сейчас у моего сайта посещаемость иногда доходит до 500 человек. А в этом месяце впервые за долгое время, я не получу прибыли.


К чему я все это написал? Естественно не всегда прямые заходы бывают чьим-то ботом, чаще всего они безобидны. А иногда даже несут какуюто пользу. К примеру я замечал такую тенденцию, когда моя ссылка публиковалась в соц сети (фейсбук, твиттер и другие буржуйские соц сети) Яндекс метрика определяла их как прямые заходы. С точно такими же показателями. 0 секунд на сайте и 100% отказ.
Но все IP были чистыми, не проксями, разных провайдеров.

Так что, вот такая вот история у меня произошла с прямыми заходами с серверов Hetzner Online AG.



п.с. Хочу ещё раз уточнить, никаких претензий к самому хостеру Hetzner Online AG у меня НЕТ. Озвучил я его название, только для того, чтобы вы если будете у себя регулярно в логах встречать IP относящиеся к Hetzner Online AG. То не поленитесь и помониторьте за своим сайтом.
Торопись успеть!!!!


Летние скидки на прогоны - Дешевле только бесплатно ◄ !


Продвижение сателлитами


Прогон по твиттеру, постинг в 1500 аккунтов
Постинг в твиттер аккаунты, для ускорения индексации ваших сайтов, сателлитов, дорвеев.

Так чем же именно эти заходы повлияли на позиции в выдаче интересно? ПС приняли их за накрутку, или они давали плохие ПФ. Падение было только с Гугла?
smile:shout:офигеть
Цитата
Иван пишет:
ПС приняли их за накрутку, или они давали плохие ПФ.
я склоняюсь к плохому ПФ.
Так как на накрутку если похоже то на очень не качественнную, даже может быть на такую которую злостный конкурент захотелбы сделать чтобы наверняка загнать сайт в бан

Цитата
Иван пишет:
Падение было только с Гугла?
да падение только в гугле
Детективная прям история в духе А Кристи, так кто же убийца трафика?
У Вас же есть лог, какие именно страницы, либо только главная, как то не полный анализ...
Цитата
как я потерял стабильный заработок из-за прямых заходов с серверов Hetzner Online AG


Разве из за прямых заходов вы потерли траф? что то описание этого момента я не увидел как он повлиял на снижение трафа.
Цитата
Принципал пишет:
так кто же убийца трафика?
убийца трафика не известный мне сервис. который осуществлял прямые заходы на мой сайт

Цитата
Принципал пишет:
У Вас же есть лог, какие именно страницы, либо только главная, как то не полный анализ...
Все проходило следующим образом
сначала шло обращение к главной странице, собирались все ссылки с главной и потом уже шло обращение ко всем страницам с главной.
Что самое главное не смотря на то, что ip часто повторялись, прямые заходы все равно воспринимались как новые пользователи

Цитата
Krol пишет:
Разве из за прямых заходов вы потерли траф?
я считаю, что именно изза них. так как другой причины я просто не вижу.
вот скрин за один из месяцев

Рисунок


Как видите количество отказов зашкаливает.

Раньше у меня среднее значение было максимум 10-15%. Длительность пребывания на сайте три-три с половиной минуты. Глубина просмотра 3+ страницы на одного пользователя.
На момент когда был этот массовый обвал прямых заходов ситуация стала следующей: отказы 70+, глубина просмотра 1.1, длительность на сайте 0.14.

После блокировки ip от хостера Hetzner Online AG, все вернулось на круги своя, то есть на время на сайте 3+, глубина 3+, только пользователей около 500

Цитата
Krol пишет:
что то описание этого момента я не увидел как он повлиял на снижение трафа.
я указал специально хостера, чтобы если вдруг ктото столкнется с подобной ситуацией, понимал что нужно сразу блокировать а не ждать "может само пройдет"
при проверке командой host каждый IP возвращает p6n*.trendiction.de
при проверке обычным whois выдает Owner is Hetzner Online Ag Hetzner Online Ag, Stuttgarter Str 1, D- 91710 Gunzenhausen, Germany Germany
то есть если вдруг ктото увидит регулярные заходы с IP адресов хостинга Hetzner Online AG пускай задумается.
Теперь ясно, если что было бы интересно узнать как поведет себя траф через неделю - месяц)
Как гугл узнал про отказы, стоит аналитикс, эдсенс, г+?Какие реффереры у запросов из этих подсетей? Какой диапазон подсетей? Урл разные?
Может кто парсил что-то?

Hetzner так просто так не даст ip уже, да и раньше не просто было. Покажите эти подсети.
span4bob,  привет. как-то проглядел мимо вашей темы..
хорошо, что случайно заглянул..

у меня подобная ситуация только с французом.

сайт молодой 14 дней отроду. не знаю кто и как он меня выловил. может через ретвиты..

короче повадился прямой заход с Парижа.
0:00 на сайте.
1 страница
+200% отказов добавляет ежедневно..

а при 10 униках первых может видно сделать и 500% отказов.

еле выловил гада по логам
айпи: 195.154.209.237


что за ерунда не понял? заходит ежедневно на каждую новую статью и делает отказ.

сервис проверки айпи может кому пригодится: _http://www.ip-tracker.org/locator/ip-lookup.php


что за заход: _http://www.ip-tracker.org/locator/ip-lookup.php?ip=195.154.209.237

может кто определит.
заблочил айпи для всех своих сайтов на всякий.
Цитата
Krol пишет:
Теперь ясно, если что было бы интересно узнать как поведет себя траф через неделю - месяц
скрин  за последнюю неделю
Рисунок


Цитата
Kors пишет:
сайт молодой 14 дней отроду. не знаю кто и как он меня выловил. может через ретвиты..
молодые сайты часто распарсивают
вы не первый и к сожалению не последний
Цитата
span4bob пишет:
скрин за последнюю неделю
дела идут на лад) радует, а что по динамике посещаемости ?
да все просто не нужно было использовать сервисы по накрутке посещений. у кого-то просто глюкнул такой скрипт вот вам и рез. Хотя как показывает практика РАНЬШЕ можно было загнать конкурента таким образом. Сей час нет. Весь рейтинг делается по ОЛЕСКе, по гулу короче, она собирает статистику пакетами и не лезет в логи. Вывод - прямы заходы-это хорошо. И вы поверили в сказку про белого бычка....)))).
Кому нужно кил-ть конкурента, могу рассказать, как сделать это с помощью одной простой древней сео-проги.
span4bob, удивительно...а что о нагрузке сервака не слышали по айпи? там все можно определить кто создает нагруз того в блок...
No pain, no gain
Страницы: 1
Похожие темы:
Читают тему (гостей: 1, пользователей: 0, из них скрытых: 0)
Новые темыОбъявленияСвободное общение
10:35 22 сентября 2017 : Текстовый апдейт и обновление базы 
10:19 Нужно ли делать зеркало сайта в зоне ру для лучшей индексации 
09:48 Как решить проблему смешанного контента 
09:45 какой вид ссылок в индексе лучше? 
08:22 Перелинковка страниц 
00:10 Adsense личный опыт 
22:43 Прогон по Твиттеру 
09:55 Куплю дорого группу в контакте от 20000 посетителей в сутки 
08:55 Наш сайт Bit-Exchanger.ru более 200+ направлений обмена 
08:45 Профильный прогон 200 рублей, ТИЦ от 10, проверен Checktrust 
08:41 Прогон по профилям 300 рублей, 170 сайтов, ТИЦ от 10 
07:41 Ссылки в ваших статьях 
20:15 200 открытых анкорных ссылок всего за 100 рублей 
18:44 Рассылка сообщений на стены групп Вконтакте , Одноклассники по любым критериям. 
09:44 Что такое не везет и как с этим бороться (РОСТЕЛЕКОМ) 
09:35 Осторожно! Криптовалюта 
09:24 Создание сайта 
08:15 Бесплатный информер валют для вашего сайта 
01:55 Роковые ошибки поисковых систем, кому верить? 
00:02 Страница профилей пользователей Wordpress 
23:09 Куплю лиды на промышленное оборудование