Парсинг урл и метатегов

Сообщений: 2 Регистрация: Сен 2017

4 Сентября 2017 15:51

Добрый день ребята, подскажите пожалуйста если стоит задача сделать таблицу ексель формата (url:title:desription)Как можно автоматизировать сбор данных страниц в разных категориях на сайте интернет магазина

Иван

Сообщений: 2247 Регистрация: Янв 2014

5 Сентября 2017 00:42

Самый простой вариант:
1. Screaming Frog SEO Spider – можно найти ломаную (nulled) версию в сети.
2. Netpeak Spider – демо версия на месяц вроде.

Программы аналогичные в принципе по функционалу, отличаются только визуально. Спарсите сайт или рубрики, оттычкуете нужные данные (урл+метатеги) и выгрузите в эксель.

Изменено: Иван - 5 Сентября 2017 00:43

Eye

Сообщений: 22501 Регистрация: Май 2011

5 Сентября 2017 00:46

Цитата
Иваанушка Онсамый пишет: Как можно автоматизировать сбор данных страниц в разных категориях на сайте интернет магазина

В чём вопрос? Вы не умеете парсить или не умеете менять формат?

Мы не можем похвастаться мудростью глаз
И умелыми жестами рук,
Нам не нужно все это, чтобы друг друга понять.
Сигареты в руках, чай на столе - так замыкается круг,
И вдруг нам становится страшно что-то менять.

Иваанушка Онсамый

Сообщений: 2 Регистрация: Сен 2017

7 Сентября 2017 20:08

Цитата
Иван пишет: 2. Netpeak Spider – демо версия на месяц вроде.

Все отлично, только есть одна проблема)
При выгрузки данных у меня все в одну строчку выводиться url, title и description и не как не могу по колонкам раскидать. (такое не только при выгрузке с этой программы, с остальных тоже самое)
Вы с таким не сталкивались?

Иван Сообщений: 2247 Регистрация: Янв 2014	#5 8 Сентября 2017 03:20 А чем вы открываете? У мене в экселе проблем не было. Там вроде в настройках или перед самой выгрузкой формат выбирается, вплоть до пдф

Новые темы	Объявления	Свободное общение
18:53 Кнопки "скрыть" и "пожаловаться" в рекламе яндекса 15:29 OpenAI и шейхи: Цензура на продажу и "гибкие" идеалы амеров 13:26 Как безопасно купить Гугл почту? 11:17 ЕС душит ТикТок: прощай бесконечная лента и RPM? Что с монетизацией? 11:12 Гугл пухнет от кеша, а нам - крошки. Разбор $114 млрд: Адсенс в минусе, Ютуб на подписках 11:05 01.02. Апдейт 31.01 // Chrome готовит "чёрную метку" для ИИ? 10:59 WB и Ozon - новые "русские поисковики"? Яндекс теряет коммерческую выдачу	18:41 Веривикация Авито 17:55 Онлайн подработка до 5К (БЕЛАЯ) 17:37 Продам аккаунты Gmail USA IP \| Gmail MIX IP \| Outlook Old 16:31 JustProxy.Biz - Резидентные прокси без ограничения по трафику 15:39 Создам под вашу нишу сетку сайтов-сателлитов для привлечения целевого трафика 15:31 Вериф аккаунты АВИТО + платежи 08:58 Мониторинг обменников Сrypto-scout.io	18:12 Сайты Рунета 18:05 Туалетные секреты: Замурчательная тема 15:21 FIFA и Assassin’s Creed воруют пароли: В репаки зашили лютый стиллер. Чекаем логи 15:20 Кулеры и БП станут золотыми? Медь по 13 штук, олово в космосе 15:15 ИИ-театр для инвесторов: почему виральные посты в Moltbook писали люди и в чем подвох OpenClaw 08:50 Гильотина для классиков: Клод доедает физические книги 05:10 Точные прогнозы на футбол

Новые темы

Объявления

Свободное общение

18:53 Кнопки "скрыть" и "пожаловаться" в рекламе яндекса
15:29 OpenAI и шейхи: Цензура на продажу и "гибкие" идеалы амеров
13:26 Как безопасно купить Гугл почту?
11:17 ЕС душит ТикТок: прощай бесконечная лента и RPM? Что с монетизацией?
11:12 Гугл пухнет от кеша, а нам - крошки. Разбор $114 млрд: Адсенс в минусе, Ютуб на подписках
11:05 01.02. Апдейт 31.01 // Chrome готовит "чёрную метку" для ИИ?
10:59 WB и Ozon - новые "русские поисковики"? Яндекс теряет коммерческую выдачу

18:41 Веривикация Авито
17:55 Онлайн подработка до 5К (БЕЛАЯ)
17:37 Продам аккаунты Gmail USA IP | Gmail MIX IP | Outlook Old
16:31 JustProxy.Biz - Резидентные прокси без ограничения по трафику
15:39 Создам под вашу нишу сетку сайтов-сателлитов для привлечения целевого трафика
15:31 Вериф аккаунты АВИТО + платежи
08:58 Мониторинг обменников Сrypto-scout.io

18:12 Сайты Рунета
18:05 Туалетные секреты: Замурчательная тема
15:21 FIFA и Assassin’s Creed воруют пароли: В репаки зашили лютый стиллер. Чекаем логи
15:20 Кулеры и БП станут золотыми? Медь по 13 штук, олово в космосе
15:15 ИИ-театр для инвесторов: почему виральные посты в Moltbook писали люди и в чем подвох OpenClaw
08:50 Гильотина для классиков: Клод доедает физические книги
05:10 Точные прогнозы на футбол

25.10.2020 21:58	Парсинг интернет магазинов, сайтов, фото, видео
15.06.2020 15:15	25% скидка на парсинг email адресов
06.04.2020 19:49	Парсинг 2гис. Сбор контактов с 2gis
24.02.2020 17:49	ВК - слив данных или парсинг?
09.01.2019 23:13	Помогите с парсингом прайса