A-Parser 1.1 - продвинутый парсер поисковых систем, Suggest, PR, DMOZ, Whois, etc
Страницы: Пред. 1 2 3 4 5 6
A-Parser 1.1 - продвинутый парсер поисковых систем, Suggest, PR, DMOZ, Whois, etc
Цитата
Jack SparroW пишет:
В гугле сменилась верстка, вы внесли эти обновления в парсер?
Да, все новые изменения в последней версии 1.2.752

Бесплатная контекстная реклама

Сборник рецептов #38: парсер Яндекс.Кью, парсер сайтов из Яндекс.Радар и определение типов сайтов

38-й сборник рецептов. В нем опубликованы: парсер сервиса вопросов-ответов Яндекс.Кью, парсер для сбора сайтов из Яндекс.Радара, а также парсер для определения типа сайта.

Парсер Яндекс Кью

Яндекс.Кью - это сервис вопросов-ответов, запущенный в конце 2019 года. Он объединил в себе несколько других сервисов, поэтому уже на момент запуска обладал большой базой информации. Мы не могли оставить это просто так и публикуем парсер для сбора данных из этого сервиса.

Рисунок


Парсинг сайтов из Яндекс.Радар

Яндекс.Радар - это сравнительно новый сервис Яндекса, который в отчасти заменил ранее популярный Яндекс.Каталог. Это большой каталог популярных в рунете сайтов с данными о их посещаемости и некоторой информацией о посетителях. Мы подготовили парсер, с помощью которого можно собрать список сайтов с необходимыми фильтрами.

Рисунок


Определение типа сайта по Яндекс Радару

И еще один парсер для Яндекс.Радар от нашего пользователя. С его помощью можно определять типы сайтов, если они есть в базе Яндекс.Радара.

Рисунок


Еще больше различных рецептов в нашем Каталоге!
Предлагайте ваши идеи для новых парсеров здесь, лучшие будут реализованы и опубликованы.

Подписывайтесь на наш канал на Youtube - там регулярно выкладываются видео с примерами использования A-Parser, а также следите за новостями в Twitter.

Все сборники рецептов

Рисунок
Сборник статей #11: анализ содержимого картинок, добавление ссылок в индекс Google и поиск RSS лент

11-й сборник статей, в котором рассказано, как в А-Парсере анализировать содержимое картинок, добавлять страницы своих сайтов в индекс Google и искать RSS ленты необходимой тематики.

Фильтрация картинок по их содержимому

В этой статье на примере поиска картинок с определенным содержимым, показана работа с Google Vision. С помощью "компьютерного зрения" для каждого изображения присваивается набор меток, который описывает содержимое.

Рисунок


Инструкция по использованию Google Indexing API

В данной статье рассмотрена работа с Google Indexing API, который позволяет владельцам сайтов напрямую уведомлять Google о добавлении или удалении страниц. Таким образом ваш сайт будет быстрее просканирован Google, что способствует повышению качества трафика.

Рисунок


Поиск и сбор rss лент

В этой статье рассмотрен простой пример поиска ссылок на rss ленты по заданной тематике. Решение состоит из 3-х пресетов, каждый из которых отвечает за определенный этап работы.

Рисунок


Если вы хотите, чтобы мы более подробно раскрыли какой-то функционал парсера, у вас есть идеи для новых статей или вы желаете поделиться собственным опытом использования A-Parser (за небольшие плюшки smile:) ) - отписывайтесь здесь.

Подписывайтесь на наш канал на Youtube - там регулярно выкладываются видео с примерами использования A-Parser, а также следите за новостями в Twitter.

Все сборники статей

Рисунок
1.2.799 - новый парсер для поиска картинок, улучшения в существующих парсерах

Рисунок


Улучшения

* Добавлен новый парсер SE::Yandex::ByImage - поиск картинок в Яндексе по ссылке
* В Social::Instagram::post добавлена возможность собирать ссылки на локации
* В Util::YandexRecognize добавлена поддержка сессий
* В SE::Yandex::SQI добавлена возможность определять считается ли домен "официальным"
* Улучшения в HTML::EmailExtractor для более качественного сбора почт
* В SE::Google::Trends обновлен и значительно расширен список регионов
* Из SE::Seznam удален парсинг $related в связи с тем, что связанные ключевые слова больше не выводятся на странице выдачи

Исправления в связи с изменениями в выдаче

* Исправлен парсинг $totalcount, рекламы и мобильной выдачи в парсерах Google
* Исправлен парсинг анкоров и сниппетов в SE::Yandex
* Исправлены парсеры SerpStat
* SE::Yandex::Direct, SE::Bing::LangDetect , Rank::Ahrefs, SE::Bing , SE::Startpage , Shop::eBay

Исправления

* Исправлен выбор страны в SE::Yahoo
* Исправлен баг с декодированием ссылок в SE::Google::Images
* В режиме -newnode исправлены проблемы с кодировкой и оптимизировано потребление памяти


Рисунок
Парсинг booking.com с помощью A-Parser

В этом видео уроке рассмотрен парсинг ресурса booking.com, получение результатов поиска квартир и отелей на сайте. Подробную информацию о них будем получать при помощи парсера Рисунок
Net::HTTP


Рисунок



В видео рассмотрено

* Пользование разделом тестового парсинга
* Переход по страницам пагинации
* Проверка наличия определенного контента на странице сайта
* Использование регулярных выражений
* Применение конструктора результатов (декодирование HTML сущностей)
* Применение шаблонизатора Template Toolkit в формате результата:
* Использование инструмента $tools.CSVline
* Циклическая обработка директивой FOREACH
* Виртуальный метод .match
* Фильтры: .remove, .collapse, .replace

Полезные ссылки

* Net::HTTP - https://a-parser.com/wiki/net-http/
* Тестовый парсинг - https://a-parser.com/wiki/test-parsing/
* Template Toolkit - https://a-parser.com/wiki/template-toolkit/
* tools.CSVline - https://a-parser.com/wiki/template-tools/#tools-csvline-простое-создание-csv-файлов
* Готовый пресет: https://a-parser.com/resources/383/

Оставляйте комментарии и подписывайтесь на наш канал на YouTube!
Рисунок
Сборник рецептов #39: бот-опросник, парсер hotline.ua и copart.com

Представляем вашему вниманию 39-й сборник рецептов, в который вошли:

* телеграмм бот опросник
* парсер агрегатора цен hotline.ua
* парсер аукционов транспортных средств copart.com

Телеграмм бот опросник

Данный бот позволяет организовать ежедневный опрос сотрудников, при этом список вопросов можно гибко менять. Все настройки берутся из Google таблицы, а также туда пишутся ответы по каждому сотруднику.
Также, этот пример демонстрирует возможность создания телеграмм бота на базе A-Parser и работу с Google таблицами.

Рисунок


Парсер hotline.ua

hotline.ua - это самый большой агрегатор цен в Украине. С его помощью можно мониторить и анализировать цены на товары у конкурентов или искать наиболее выгодные предложения среди большого количества интернет-магазинов.

Рисунок


Парсер copart.com

Copart является одним из крупнейших интернет аукционов, специализирующихся на продаже новых и б/у автомобилей. По официальной информации каждый день на аукционе выставляется на продажу более 150 000 транспортных средств.

Рисунок


Еще больше различных рецептов в нашем Каталоге!
Предлагайте ваши идеи для новых парсеров здесь, лучшие будут реализованы и опубликованы.

Подписывайтесь на наш канал на Youtube - там регулярно выкладываются видео с примерами использования A-Parser, а также следите за новостями в Twitter.

Все сборники рецептов

Рисунок
Страницы: Пред. 1 2 3 4 5 6
Похожие темы:
Читают тему (гостей: 2, пользователей: 0, из них скрытых: 0)
Новые темыОбъявленияСвободное общение
14:04 Быстрое продвижение сайта в ТОП Яндекса. Рост трафика и позиций. 
13:28 Превышении допустимой нагрузки на сервер 
10:46 Как настроить плавающий блок в мобильной версии РСЯ? 
20:03 ClickTimes.ru - самая выгодная монетизация WAP трафика 
16:36 ClickDealer- свои люди на рынке буржа! 
15:07 Adtrafico - Правильная партнёрская сеть под бурж трафик 
13:26 Movieads - видеореклама с высоким выкупом трафика! 
02:38 Any.cash - Удобный и безопасный обмен в Telegram 
00:24 Продвину сайт качественными ссылками. Рост посещаемости, позиций и ИКС. Крауд ссылки недорого + скидки. 
21:04 Tochkaobmena.com - сервис по обмену цифровых валют! 
20:30 Сколько примерно может стоить. 
17:07 Комплексный прогон по трастовым сайтам, статейное размещение. Рост НЧ-СЧ, Тиц-пр. 
12:23 Хотите заказать статью для сайта на английском языке? 
12:03 Качественный прогон Хрумером для Вашего сайта 
22:53 Поздравьте меня. Я купил ссылку с халявной статьёй на ГГЛ за 200 рублей + плюшки! 
22:49 Что с трафиком? 
17:45 [b]Webvork [/b]- международная товарная СРА сеть с сертифицированными офферами на Европу. 
16:33 Конкурс статей XRumer 2020 
16:25 У кого как с Adsens? CTR в дауне 
15:50 Сколько можно заработать на буксах? 
12:15 Сливаю бота для автоматического заработка на сайте Everve. Быстрые выплаты!!!