Помогите заблокировать...
Страницы: 1 2 След.
Помогите заблокировать..., хэлп
В общем проблема в следующем: повадился ко мне один "дядя" парсить мой новостник.
Схема была проста, парсил мою рсс ленту и дальше уже переход по страницам и парсинг текста.
Я отключил свой фид, так как толку с него мало.
ОН буквально в течение 2-3 часов перестроил парсер и теперь заходит сразу в категории и парсит ссылки оттуда.

У его парсера каждый раз разные ip то есть панить по ip не вариант.
В логах он определяется вот так:
200 "https://www.google.com/" "Mozilla/5.0 (X11; Ubuntu; Linux i686; rv:15.0) Gecko/20100101 Firefox/15.0.1"
Юзер агент, всегда разный. А вот значение "https://www.google.com/" после кода ответа страницы всегда одинаковое.

Есть какието идеи как блокнуть его в htaccess?
))) бесполезно)))
span4bob, вот *удак, надеюсь, его сайт все равно будет в *опе сидеть...
Цитата
span4bob пишет:
Есть какието идеи как блокнуть его
Смеритесь - это неизбежность, просто продолжайте работать над своим сайтом
Спанчбоб, а что если сначала заливать измененный текст, например во всем тексте перед публикацией все русские буквы "a","o","e" и "c" заменить на английские через php ф-ию str_replace(), а после того, как он эту хрень спарсит ничего не заметив, обратно все перекодировать.
Если технически НЕТ возможности его блокануть, есть смысл договориться чинно-благородно smile:) 
Вежливо написать (понимаю, что трудно!) и попросить оставить ваш рес в покое.

Это обычная практика, в общем-то...

Работая на медиа-портале, мы зачастую ТАК решали эти проблемы и на подобные письма реагировали адекватно - отключали бота по вежливой просьбе владельцев (или админов реса, откуда парсили)

Не секрет ведь, что крупные СМИ, да те же Медиа: адми, фишки, офигенно, клуббер не только сами создают / переводят, но и много парсят чужой контент. Линк да, ставят... нофоллоу))
Приветствую, напишите мне в ЛС или по контактам в темах в подписи, разберемся smile;)
Предлагаю Услуги по веб-разработке/программированию
HTML(HTML5), CSS(CSS3), JavaScript(jQuery, AJAX), PHP, MySQL
========================================
http://www.cy-pr.com/forum/f58/t37537/
http://www.cy-pr.com/forum/f50/t35619/
Цитата
Zerzes пишет:
Спанчбоб, а что если сначала заливать измененный текст, например во всем тексте перед публикацией все русские буквы "a","o","e" и "c" заменить на английские через php ф-ию str_replace(), а после того, как он эту хрень спарсит ничего не заметив, обратно все перекодировать.
у меня на сайте быстроботы всех поисковиков живут, так что можно самому себе навредить

Цитата
WGN пишет:
Смеритесь - это неизбежность, просто продолжайте работать над своим сайтом

Цитата
anna911 пишет:
))) бесполезно)))
да я знаю, что бесполезно. И мне плевать на уникальность контента, я из тех людей который сам не верит в "уникальный контент".
Меня больше напрягает, что он грузит мой сервер, а также создает большое количество переходов-отказов в метрике

Цитата
Elena пишет:
Если технически НЕТ возможности его блокануть, есть смысл договориться чинно-благородно smile:)
Вежливо написать (понимаю, что трудно!) и попросить оставить ваш рес в покое.
не реально
мои статьи копируют очень много ГСов и всяких трешовых сайтов.
Не реально узнать кто именно делает это
Цитата
span4bob пишет:
также создает большое количество переходов-отказов
Вот на этом можно вылавливать и отсекать бота, множественные обращения к разным страницам за единицу времени. По моему есть даже готовые решения
Цитата
span4bob пишет:
создает большое количество переходов-отказов в метрике
Включали "Фильтровать роботов по строгим правилам и по поведению" в метрике?
span4bob, А как Вы поняли что это не бот Гугл?
Лучший абузоустойчивый хостинг | Самый высокий доход на Push уведомлениях | Лучшая партнерка для заработка на видео плеерах
Скажу вам по своей долгой практике. Я бороллся очень долго и применял много способов. На моем сайте даже установлен модуль, который меняет дивы (к ним прикреплен парсер) и меняет строки вверх-вниз текста с сайта. Но этот гад уже нашел решение. Я блокировал его IP - он их не покупает (дорого), а берет бесплатные. Я нахожу их в гугле и блокирую все. Скажу вам, что из-за таких муд8ков мой сайт не появляется в ТОП новостях гугла (сайт присутствует гугл невс) и стал не так высоко ранжироваться. У меня есть примеры сайтов, которые получали хороший траф, но из-за постоянного парсинга загнулись. Из примеров мудацких сайтов газета (кг), трибуна, мтс и еще парочка. 
Парадокс в том, что моя страница индексируется в гугл новостях и идут переходы, а когда он ворует, вместо моей страницы появляется его сайт. Я писал и в адсенс и жалобы в гугл и в яндекс, но результата 0. Можно тупо кликать на рекламу на его сайтах и привлечь других, чтобы акк адсенса блокнули. 
Отличная партнерка без санкций от поиковиков Bodyclick
Цитата
Александр Валерьевич Воронов пишет:
мой сайт не появляется в ТОП новостях гугла
А у Вас какое происхождение новостей, и какой штат корреспондентов?
Цитата
Alex Lex пишет:
Цитата
span4bob пишет:
создает большое количество переходов-отказов в метрике
Включали "Фильтровать роботов по строгим правилам и по поведению" в метрике?
так толку с этой метрики то?
у меня во всех счетчиках (для теста ставил и другие) есть отказы
гугл от этого никак не пересмотрит свой взгляд на сайт

Цитата
Дэвид Бэкхэм пишет:
span4bob, А как Вы поняли что это не бот Гугл?
в смысле как я понял что это не гугл бот? регулярная смена ip адресов при этом с одинаковыми признаками своих действий. Тут даже начинающий бы понял, что это не гугл.
к тому, же я давно не видел, чтоб боты гугла использовали firefox и другие браузеры

Цитата
Александр Валерьевич Воронов пишет:
Можно тупо кликать на рекламу на его сайтах и привлечь других, чтобы акк адсенса блокнули
не люблю советовать плохого, но САР вам в помощь. Зайдите, прочитайте объявления в задания о накрутке адсенса и Создавайте там задания идентичные. Адсенс сейчас за это ооочень жестко бьет по рукам. Только делайте очень очень идентично к уже существующим заданиям, чтобы не было слишком явно видно что скликиваете
Цитата
span4bob пишет:
к тому, же я давно не видел, чтоб боты гугла использовали firefox и другие браузеры
Я допустим для одной программы делал так в php:

Код
 if($_SERVER['HTTP_USER_AGENT']=="Mozilla/4.0 (compatible; MSIE 7.0; Windows NT 5.1; SV1; .NET CLR 2.0.50727) Havij"){
die("Error JORA");
}

if($_SERVER['HTTP_USER_AGENT']=="Havij"){
die("Error JORA");
}
Просто если есть какой либо общий параметр, то можно на Пыхе попробовать заблокировать. Скайп есть в профиле, можете написать, попробуем что нить подумать вместе.
Страницы: 1 2 След.
Похожие темы:
Читают тему (гостей: 2, пользователей: 0, из них скрытых: 0)
Новые темыОбъявленияСвободное общение
16:04 ИКС Яндекс АПдейт 1 апреля 2026. Обновлён алгоритм расчёта 
11:50 Gmail разрешил менять основной адрес - теперь можно убрать старые ники без переноса аккаунта 
19:02 Gambling Craft - гемблинг по белому 
17:03 LOSPOLLOS.COM - Конвертим по рецепту Хайзенберга. Dating, Mainstream, Binary Options 
15:51 Яндекс-ап 20 марта и похороны ChatGPT, Claude и Gemini. Считаем убытки 
10:16 Бесплатное расширение для Chrome — проверка ссылок прямо на странице 
18:01 Раскрутка форума 
16:22 Рассылки СМС/SMS, Вайбер/Viber, Ватсап/Whatsapp, Телеграм/Telegram любой тематики по всему миру 
13:14 Аккаунты HeadHunter - Продам/верифицирую аккаунты работодателей hh.ru (HeadHunter, HH.RU, ХХ ) 
13:14 Продам аккаунты HeadHunter (Верификация на ИП) 
11:36 Продам сайт - продукты питания 
08:16 PROSMM-SHOP — Надёжный сервис продвижения в социальных сетях 
20:33 TokenTrade — Ваш новый надежный обменник 
20:20 BestX24 - быстрый и безопасный обменник криптовалют и электронных денежных средств 
12:36 молодильные яблоки и живая вода 
09:04 Точные прогнозы на футбол 
04:35 Ставки на супер тренды в спорте 
15:49 Огородники 
16:25 8 марта: желаю аптайма 99.9% и e-e-a-t без локов 
22:45 С юмором по жизни! 
15:42 Голландцы влепили Grok по яйцам - теперь нельзя раздевать реальных людей, штраф 100к евро в день