Полезный и добрый парсинг.
Страницы: 1
Полезный и добрый парсинг.
Итак, господа, дамы и те кто еще не определился.
У меня достаточно большой опыт в создании парсеров, поэтому хочу рассказать о некоторых своих наблюдениях.
У большинства людей парсинг воспринимается, как некое зло - оно и не мудрено, т.к. большинство слизывает сайты, по сути, воруя чужую собственность, при чем достаточно успешно.
Для чего же можно использовать парсинг во благо?

Давайте рассмотрим конкретные кейсы.
Предположим, у вас есть небольшой интернет магазин в вашем регионе, а так же с 10, а может и 50 конкурентов.
У вас есть выгодные позиции (там где вы лидируете), а так же более слабые. Запуская рекламную компанию в лоб - вы просто теряете кучу бабла.

Ситуация №1:
Но есть одно весомое но - переодически конкуренты врубают скидки и начинают гнать рекламу.
Если у вас включена реклама в яндексе - вы сливаете свой бюджет в явно проигрышной ситуации: конкурент подымает ставку, а условия у него лучше.
Что мы хотим? Отловить данную ситуацию ( и оперативно), а потом или переделать рекламную компанию (например, остановить частично объявления) или уменьшить цену что бы у нас было более выгодное предложение.

Ситуация №2:
Мы хотим узнать какие позиции отсутствуют у конкурентов. Опять же - игра с рекламной компанией
Как говорится, кто владеет информацией - владеет рынком.

Какие есть решения:
1) Регулярно мониторить конкурентов - нужное дело и так делают многие. Но банально съедает много ресурсов. К тому же если у вас 1к позиций, то мониторить получится малую часть.
2) Использовать сервисы агрегаторы (например, яндекс и т.д.). Проблема до безумия проста- эти ресурсы получают данные по фидам, т.е. им предоставляют информацию сами инет магазины и зачастую многих конкурентов - просто нет.
3) Использовать самописные парсеры для получения данных. Можно использовать любой тип автоматизации - извлечь информацию и сравнить

Главный плюс такой системы, что конкурентам он не виден (зачастую они и не знают об этом).
Наверное самая большая сложность - это создание агрегации этих данных в единую таблицу, а так же валидация данных "на лету".
Решение этих задач позволяет получить крайне мощный инструмент в свои руки - игра с ценами, seo, информация о поведении конкурентов.

Неявное использование.
Один владелец интернет магазина собирал такие данные в течении пары последних лет. И в результате он смог выделить позиции, которых часто не хватает у конкурентов, а так же игры с ценами. После этого в SEO он стал делать упор именно на эти позиции (естественные ПФ у него стали лучше конкурентов и сайт стал подтягивать и другие запросы).

Вот такой кейс использования парсинга в благо. А как вы используете парсинг?
Изменено: Константин Нейтро - 23 Декабря 2020 21:59
«Превращаю день в ночь, сына в дочь, а ХЗ в ТЗ»
Ну вот щас взяли и раскрыли все тайны...smile:)
Цитата
WGN пишет:
Ну вот щас взяли и раскрыли все тайны...
Ну может вы что то интересное делаете? Например, отлавливаете любителей накручивать % перед распродажами и нещадно раскрываете информацию)))
Как вариант может вам интересно что-то в этом процессе? 
А так, если тема будет интересной - я еще могу рассказать чего-нить, например, про то какие интересные средства защиты я встречал и как их можно обойти, или, как парсинг помогает оперативно защищать репутацию)))
Цитата
Константин Нейтро пишет:
Цитата
WGN пишет:
Ну вот щас взяли и раскрыли все тайны...
Ну может вы что то интересное делаете? Например, отлавливаете любителей накручивать % перед распродажами и нещадно раскрываете информацию)))
Как вариант может вам интересно что-то в этом процессе?
А так, если тема будет интересной - я еще могу рассказать чего-нить, например, про то какие интересные средства защиты я встречал и как их можно обойти, или, как парсинг помогает оперативно защищать репутацию)))

Мне бы интересно было про обход узнать что-то новое.
Цитата
WGN пишет:
Мне бы интересно было про обход узнать что-то новое

У вас какой то корректный сайт интересует? Или определенная проблема есть?
Страницы: 1
Читают тему (гостей: 1, пользователей: 0, из них скрытых: 0)
Новые темыОбъявленияСвободное общение
16:37 Привет! Мы — партнерская программа Revitalab по Нутре! 
16:03 оптимизация нового сайта с малой посещаемостью 
15:52 АП ИКС 13.08.2022 | Апдейт Яндекс ИКС 13 августа 2022 
08:33 Gambling Craft - гемблинг по белому 
00:57 Смена Рапиды на выплату в банк 
19:25 Финский дата-центр Яндекса уже более 10 суток работает на дизель-генераторах 
11:32 Dao.AD: Монетизация и покупка Push/Pops/Inpage и Video трафика! 
11:31 PushRevenue - система монетизации трафика 
21:08 Качественный прогон Хрумером, Zennoposterом всего 10 WMZ, Большой опыт работы. Статьи, комментарии, профиля, гостевые. 
20:37 Expa24.com Обмен Криптовалют. Ввод/Вывод наличные Украина/Северный Кипр/Мир 
19:51 Клиентские базы для рассылок(ВЕСЬ мир) 
05:43 Продам вечную (расширенную) лицензию DLE 
14:25 Продажа аккаунтов Google Ads со спеном (тратами) Украина 
10:05 Персональные прокси под: соц. сети, парсинг, avito, olx и прочее от 50р/шт 
16:02 Добро пожаловать в цифровой мир... 
16:00 Как трое 20-летних химиков выручили 1,4 млрд руб. за полгода благодаря кризису и сломанной логистике 
15:57 Список обновленных тем пуст... 
15:48 В России создается импортонезависимая мобильная ОС с поддержкой Android-приложений 
14:36 SEO продвижение сайтов в Яндекс, Google. Поднятие ИКС сайту, исправления ошибок, разработка стратегий 
21:01 С юмором по жизни! 
21:58 Ням-ням! - 8 деликатесов, которые когда-то ели только бедные люди