Итак, господа, дамы и те кто еще не определился.
У меня достаточно большой опыт в создании парсеров, поэтому хочу рассказать о некоторых своих наблюдениях.
У большинства людей парсинг воспринимается, как некое зло - оно и не мудрено, т.к. большинство слизывает сайты, по сути, воруя чужую собственность, при чем достаточно успешно.
Для чего же можно использовать парсинг во благо?

Давайте рассмотрим конкретные кейсы.
Предположим, у вас есть небольшой интернет магазин в вашем регионе, а так же с 10, а может и 50 конкурентов.
У вас есть выгодные позиции (там где вы лидируете), а так же более слабые. Запуская рекламную компанию в лоб - вы просто теряете кучу бабла.

Ситуация №1:
Но есть одно весомое но - переодически конкуренты врубают скидки и начинают гнать рекламу.
Если у вас включена реклама в яндексе - вы сливаете свой бюджет в явно проигрышной ситуации: конкурент подымает ставку, а условия у него лучше.
Что мы хотим? Отловить данную ситуацию ( и оперативно), а потом или переделать рекламную компанию (например, остановить частично объявления) или уменьшить цену что бы у нас было более выгодное предложение.

Ситуация №2:
Мы хотим узнать какие позиции отсутствуют у конкурентов. Опять же - игра с рекламной компанией
Как говорится, кто владеет информацией - владеет рынком.

Какие есть решения:
1) Регулярно мониторить конкурентов - нужное дело и так делают многие. Но банально съедает много ресурсов. К тому же если у вас 1к позиций, то мониторить получится малую часть.
2) Использовать сервисы агрегаторы (например, яндекс и т.д.). Проблема до безумия проста- эти ресурсы получают данные по фидам, т.е. им предоставляют информацию сами инет магазины и зачастую многих конкурентов - просто нет.
3) Использовать самописные парсеры для получения данных. Можно использовать любой тип автоматизации - извлечь информацию и сравнить

Главный плюс такой системы, что конкурентам он не виден (зачастую они и не знают об этом).
Наверное самая большая сложность - это создание агрегации этих данных в единую таблицу, а так же валидация данных "на лету".
Решение этих задач позволяет получить крайне мощный инструмент в свои руки - игра с ценами, seo, информация о поведении конкурентов.

Неявное использование.
Один владелец интернет магазина собирал такие данные в течении пары последних лет. И в результате он смог выделить позиции, которых часто не хватает у конкурентов, а так же игры с ценами. После этого в SEO он стал делать упор именно на эти позиции (естественные ПФ у него стали лучше конкурентов и сайт стал подтягивать и другие запросы).

Вот такой кейс использования парсинга в благо. А как вы используете парсинг?