Парсинг урл и метатегов

Сообщений: 2 Регистрация: Сен 2017

4 Сентября 2017 15:51

Добрый день ребята, подскажите пожалуйста если стоит задача сделать таблицу ексель формата (url:title:desription)Как можно автоматизировать сбор данных страниц в разных категориях на сайте интернет магазина

Иван

Сообщений: 2247 Регистрация: Янв 2014

5 Сентября 2017 00:42

Самый простой вариант:
1. Screaming Frog SEO Spider – можно найти ломаную (nulled) версию в сети.
2. Netpeak Spider – демо версия на месяц вроде.

Программы аналогичные в принципе по функционалу, отличаются только визуально. Спарсите сайт или рубрики, оттычкуете нужные данные (урл+метатеги) и выгрузите в эксель.

Изменено: Иван - 5 Сентября 2017 00:43

Eye

Сообщений: 22790 Регистрация: Май 2011

5 Сентября 2017 00:46

Цитата
Иваанушка Онсамый пишет: Как можно автоматизировать сбор данных страниц в разных категориях на сайте интернет магазина

В чём вопрос? Вы не умеете парсить или не умеете менять формат?

Мы не можем похвастаться мудростью глаз
И умелыми жестами рук,
Нам не нужно все это, чтобы друг друга понять.
Сигареты в руках, чай на столе - так замыкается круг,
И вдруг нам становится страшно что-то менять.

Иваанушка Онсамый

Сообщений: 2 Регистрация: Сен 2017

7 Сентября 2017 20:08

Цитата
Иван пишет: 2. Netpeak Spider – демо версия на месяц вроде.

Все отлично, только есть одна проблема)
При выгрузки данных у меня все в одну строчку выводиться url, title и description и не как не могу по колонкам раскидать. (такое не только при выгрузке с этой программы, с остальных тоже самое)
Вы с таким не сталкивались?

Иван Сообщений: 2247 Регистрация: Янв 2014	#5 8 Сентября 2017 03:20 А чем вы открываете? У мене в экселе проблем не было. Там вроде в настройках или перед самой выгрузкой формат выбирается, вплоть до пдф

Новые темы	Объявления	Свободное общение
14:59 AI под надзором. Минцифры готовят клеймо для контента 11:05 Adsense личный опыт 08:29 Бесплатное получение бэклинков 08:19 3snet - гемблинг, беттинг, форекс, бинарные опционы, майнинг 00:45 С чего сейчас проще начать? 00:22 Раскрутка форума 00:16 Бесплатное расширение для Chrome — проверка ссылок прямо на странице	14:25 Мониторинг обменников Сrypto-scout.io 12:47 Monitex: Мониторинг с кэшбэком 80% в USDT 12:10 TELEGRAM EXPERT — Многоцелевой комбайн по работе с Telegram 09:44 MIG-OBMEN.net — Быстрый и надежный обмен цифровых активов 09:15 Продам сайт Домен РУ RU РФ c доменом www.доменру.рф 00:22 BITzaBIT.com - обмен криптовалют, выплаты EUR, CAD, GBP, AZN, TJS, UZS 00:13 SpeedyIndex - ускорение индексирования ссылок в Google. 100 ссылок в подарок.	09:14 молодильные яблоки и живая вода 07:17 Почему не обновляется счетчик ИКС (индекса качества сайта) 07:08 Точные прогнозы на футбол 00:10 8 марта: желаю аптайма 99.9% и e-e-a-t без локов 19:38 Голландцы влепили Grok по яйцам - теперь нельзя раздевать реальных людей, штраф 100к евро в день 06:50 Ставки на супер тренды в спорте 13:04 Gartner обещал смерть SEO к 2026 году. Открываем метрику и проверяем

Новые темы

Объявления

Свободное общение

14:59 AI под надзором. Минцифры готовят клеймо для контента
11:05 Adsense личный опыт
08:29 Бесплатное получение бэклинков
08:19 3snet - гемблинг, беттинг, форекс, бинарные опционы, майнинг
00:45 С чего сейчас проще начать?
00:22 Раскрутка форума
00:16 Бесплатное расширение для Chrome — проверка ссылок прямо на странице

14:25 Мониторинг обменников Сrypto-scout.io
12:47 Monitex: Мониторинг с кэшбэком 80% в USDT
12:10 TELEGRAM EXPERT — Многоцелевой комбайн по работе с Telegram
09:44 MIG-OBMEN.net — Быстрый и надежный обмен цифровых активов
09:15 Продам сайт Домен РУ RU РФ c доменом www.доменру.рф
00:22 BITzaBIT.com - обмен криптовалют, выплаты EUR, CAD, GBP, AZN, TJS, UZS
00:13 SpeedyIndex - ускорение индексирования ссылок в Google. 100 ссылок в подарок.

09:14 молодильные яблоки и живая вода
07:17 Почему не обновляется счетчик ИКС (индекса качества сайта)
07:08 Точные прогнозы на футбол
00:10 8 марта: желаю аптайма 99.9% и e-e-a-t без локов
19:38 Голландцы влепили Grok по яйцам - теперь нельзя раздевать реальных людей, штраф 100к евро в день
06:50 Ставки на супер тренды в спорте
13:04 Gartner обещал смерть SEO к 2026 году. Открываем метрику и проверяем

25.10.2020 21:58	Парсинг интернет магазинов, сайтов, фото, видео
15.06.2020 15:15	25% скидка на парсинг email адресов
06.04.2020 19:49	Парсинг 2гис. Сбор контактов с 2gis
24.02.2020 17:49	ВК - слив данных или парсинг?
09.01.2019 23:13	Помогите с парсингом прайса