A-Parser 1.1 - продвинутый парсер поисковых систем, Suggest, PR, DMOZ, Whois, etc
Страницы: Пред. 1 2 3 4 5 6
A-Parser 1.1 - продвинутый парсер поисковых систем, Suggest, PR, DMOZ, Whois, etc
Цитата
Jack SparroW пишет:
В гугле сменилась верстка, вы внесли эти обновления в парсер?
Да, все новые изменения в последней версии 1.2.752

Прогон по твиттеру, постинг в 1500 аккунтов
Постинг в твиттер аккаунты, для ускорения индексации ваших сайтов, сателлитов, дорвеев.

Сборник рецептов #38: парсер Яндекс.Кью, парсер сайтов из Яндекс.Радар и определение типов сайтов

38-й сборник рецептов. В нем опубликованы: парсер сервиса вопросов-ответов Яндекс.Кью, парсер для сбора сайтов из Яндекс.Радара, а также парсер для определения типа сайта.

Парсер Яндекс Кью

Яндекс.Кью - это сервис вопросов-ответов, запущенный в конце 2019 года. Он объединил в себе несколько других сервисов, поэтому уже на момент запуска обладал большой базой информации. Мы не могли оставить это просто так и публикуем парсер для сбора данных из этого сервиса.

Рисунок


Парсинг сайтов из Яндекс.Радар

Яндекс.Радар - это сравнительно новый сервис Яндекса, который в отчасти заменил ранее популярный Яндекс.Каталог. Это большой каталог популярных в рунете сайтов с данными о их посещаемости и некоторой информацией о посетителях. Мы подготовили парсер, с помощью которого можно собрать список сайтов с необходимыми фильтрами.

Рисунок


Определение типа сайта по Яндекс Радару

И еще один парсер для Яндекс.Радар от нашего пользователя. С его помощью можно определять типы сайтов, если они есть в базе Яндекс.Радара.

Рисунок


Еще больше различных рецептов в нашем Каталоге!
Предлагайте ваши идеи для новых парсеров здесь, лучшие будут реализованы и опубликованы.

Подписывайтесь на наш канал на Youtube - там регулярно выкладываются видео с примерами использования A-Parser, а также следите за новостями в Twitter.

Все сборники рецептов

Рисунок
Сборник статей #11: анализ содержимого картинок, добавление ссылок в индекс Google и поиск RSS лент

11-й сборник статей, в котором рассказано, как в А-Парсере анализировать содержимое картинок, добавлять страницы своих сайтов в индекс Google и искать RSS ленты необходимой тематики.

Фильтрация картинок по их содержимому

В этой статье на примере поиска картинок с определенным содержимым, показана работа с Google Vision. С помощью "компьютерного зрения" для каждого изображения присваивается набор меток, который описывает содержимое.

Рисунок


Инструкция по использованию Google Indexing API

В данной статье рассмотрена работа с Google Indexing API, который позволяет владельцам сайтов напрямую уведомлять Google о добавлении или удалении страниц. Таким образом ваш сайт будет быстрее просканирован Google, что способствует повышению качества трафика.

Рисунок


Поиск и сбор rss лент

В этой статье рассмотрен простой пример поиска ссылок на rss ленты по заданной тематике. Решение состоит из 3-х пресетов, каждый из которых отвечает за определенный этап работы.

Рисунок


Если вы хотите, чтобы мы более подробно раскрыли какой-то функционал парсера, у вас есть идеи для новых статей или вы желаете поделиться собственным опытом использования A-Parser (за небольшие плюшки smile:) ) - отписывайтесь здесь.

Подписывайтесь на наш канал на Youtube - там регулярно выкладываются видео с примерами использования A-Parser, а также следите за новостями в Twitter.

Все сборники статей

Рисунок
1.2.799 - новый парсер для поиска картинок, улучшения в существующих парсерах

Рисунок


Улучшения

* Добавлен новый парсер SE::Yandex::ByImage - поиск картинок в Яндексе по ссылке
* В Social::Instagram::post добавлена возможность собирать ссылки на локации
* В Util::YandexRecognize добавлена поддержка сессий
* В SE::Yandex::SQI добавлена возможность определять считается ли домен "официальным"
* Улучшения в HTML::EmailExtractor для более качественного сбора почт
* В SE::Google::Trends обновлен и значительно расширен список регионов
* Из SE::Seznam удален парсинг $related в связи с тем, что связанные ключевые слова больше не выводятся на странице выдачи

Исправления в связи с изменениями в выдаче

* Исправлен парсинг $totalcount, рекламы и мобильной выдачи в парсерах Google
* Исправлен парсинг анкоров и сниппетов в SE::Yandex
* Исправлены парсеры SerpStat
* SE::Yandex::Direct, SE::Bing::LangDetect , Rank::Ahrefs, SE::Bing , SE::Startpage , Shop::eBay

Исправления

* Исправлен выбор страны в SE::Yahoo
* Исправлен баг с декодированием ссылок в SE::Google::Images
* В режиме -newnode исправлены проблемы с кодировкой и оптимизировано потребление памяти


Рисунок
Парсинг booking.com с помощью A-Parser

В этом видео уроке рассмотрен парсинг ресурса booking.com, получение результатов поиска квартир и отелей на сайте. Подробную информацию о них будем получать при помощи парсера Рисунок
Net::HTTP


Рисунок



В видео рассмотрено

* Пользование разделом тестового парсинга
* Переход по страницам пагинации
* Проверка наличия определенного контента на странице сайта
* Использование регулярных выражений
* Применение конструктора результатов (декодирование HTML сущностей)
* Применение шаблонизатора Template Toolkit в формате результата:
* Использование инструмента $tools.CSVline
* Циклическая обработка директивой FOREACH
* Виртуальный метод .match
* Фильтры: .remove, .collapse, .replace

Полезные ссылки

* Net::HTTP - https://a-parser.com/wiki/net-http/
* Тестовый парсинг - https://a-parser.com/wiki/test-parsing/
* Template Toolkit - https://a-parser.com/wiki/template-toolkit/
* tools.CSVline - https://a-parser.com/wiki/template-tools/#tools-csvline-простое-создание-csv-файлов
* Готовый пресет: https://a-parser.com/resources/383/

Оставляйте комментарии и подписывайтесь на наш канал на YouTube!
Рисунок
Сборник рецептов #39: бот-опросник, парсер hotline.ua и copart.com

Представляем вашему вниманию 39-й сборник рецептов, в который вошли:

* телеграмм бот опросник
* парсер агрегатора цен hotline.ua
* парсер аукционов транспортных средств copart.com

Телеграмм бот опросник

Данный бот позволяет организовать ежедневный опрос сотрудников, при этом список вопросов можно гибко менять. Все настройки берутся из Google таблицы, а также туда пишутся ответы по каждому сотруднику.
Также, этот пример демонстрирует возможность создания телеграмм бота на базе A-Parser и работу с Google таблицами.

Рисунок


Парсер hotline.ua

hotline.ua - это самый большой агрегатор цен в Украине. С его помощью можно мониторить и анализировать цены на товары у конкурентов или искать наиболее выгодные предложения среди большого количества интернет-магазинов.

Рисунок


Парсер copart.com

Copart является одним из крупнейших интернет аукционов, специализирующихся на продаже новых и б/у автомобилей. По официальной информации каждый день на аукционе выставляется на продажу более 150 000 транспортных средств.

Рисунок


Еще больше различных рецептов в нашем Каталоге!
Предлагайте ваши идеи для новых парсеров здесь, лучшие будут реализованы и опубликованы.

Подписывайтесь на наш канал на Youtube - там регулярно выкладываются видео с примерами использования A-Parser, а также следите за новостями в Twitter.

Все сборники рецептов

Рисунок
Видео урок: Именование файлов результатов

Мы начинаем публикацию серии коротких видеоуроков, каждый из которых будет посвящен какому-то одному функционалу.
И в этом уроке будут рассмотрены варианты формирования имени файла результата.

Рисунок


В видео рассмотрено:

* Нумерация файла результата в соответствии с запросами
* Нумерация файла результата + часть имени запроса
* Именование файла результата по запросу, если запрос линк

Полезные ссылки:

* Формат результата - https://a-parser.com/wiki/tips-v1-1-0/#Формат-результата
* Шаблонизатор Template Toolkit - https://a-parser.com/wiki/template-toolkit/
* Метод replace - http://template-toolkit.ru/Manual/VMethods.html

Оставляйте комментарии и подписывайтесь на наш канал на YouTube!

Рисунок
1.2.852 - новый парсер для Google Keyword Planner, Native NodeJS, множество исправлений и улучшений

Рисунок

Улучшения

* Добавлен парсер SE::Google::KeywordPlanner
    - собираются списки подсказок и варианты ключевых слов
    - для каждого варианта парсится среднее кол-во запросов в месяц, конкуренция, объемы поиска, а также минимальная и максимальная ставки
    - присутствует возможность указывать несколько ключевых слов в запросе
* В SE::Yandex::ByImage добавлена функция Get full links to page, которая позволяет получать реальные ссылки на страницы
* В SE::Yandex::SQI добавлены переменные сбор количества отзывов и оценок, а также рейтинга
* Улучшена проверка правильности разгадывания каптчи в парсерах Яндекса
* Автоматическое увеличение лимитов на ОС Linux
* Улучшена работа с регулярными выражениями
* При бане прокси в лог задания теперь выводится более детальная информация
* Native NodeJS переведена из стадии альфы в бету, проведено множество оптимизаций, за счет чего в большинстве сценариев это дает повышение максимальной скорости в 1.5-2 раза, а также уменьшение потребление памяти в 2-4 раза
    - Начиная с 1.2.822 все бета версии имеют включенный Native NodeJS, стабильные версии выходят с включенным oldnode
* Native NodeJS: добавлена экспериментальная поддержка HTTP/2
* Native NodeJS: обновление Node.js до актуальной версии
* JS парсеры: добавлена опция allow_dangerous_node_modules, подробнее тут

Исправления в связи с изменениями в выдаче

* Исправлено скачивание каптчи в SE::Yandex
* Исправлен Rank::Ahrefs: в $anchors переменная $bl заменена на $domains
* В SE::Google исправлены:
    - парсинг mobile news
    - баг с дублированием ссылок в выдаче
    - парсинг анкоров в рекламе, связанных ключевых слов, а также первый результат в выдаче не всегда попадал в serp
* В SE::Google::Images исправлен парсинг gif
* Исправлен SE::Yandex::ByImage, убраны flat переменные $height и $width
SE::YandexSE::Google::ByImageSE::DuckDuckGoSocial::Instagram::PostRank::AhrefsRank::Bukvarix::DomainSE::MailRuSE::Yandex::Suggest

Исправления

* Исправлена работа Net::Whois с доменами 3го уровня, а также улучшена проверка получаемого ответа
* Исправлена работа Extra query string в SE::Bing
* Исправлена работа Rank::SEMrush и Rank::SerpStat::Keyword при получении ответа без данных
* Исправлен баг с типами переменных
* Исправлена ошибка, при которой запросы ошибочно считались неудачными при постановке задания на паузу
* Исправлена работа Bypass Cloudflare
* Исправлен динамический лимит потоков
* Исправлена ошибка при использовании Request delay
* Исправлено предупреждение о превышении лимита в Поле запросов
* Исправлена работа $tools.task.id в имени файла результата
* JS парсеры: исправлены получение сессий и работа http2 (баг появился в одной из предыдущих версий)
* JS парсеры: исправлено определение кодировки страницы
* Native NodeJS: исправлено поведение при некоторых ошибках
* Native NodeJS: исправлена проблема при обновлении A-Parser на OS Windows
* Native NodeJS: исправлена работа save_to_file, а также еще ряд ошибок
* Native NodeJS: исправлена работа SOCKS5 с авторизацией
* Native NodeJS: исправлена подстановка данных после Конструктора запросов

Рисунок
Сборник рецептов #40: посещаемость организаций, SSL сертификаты, ikea и анализ доменов

Представляем вашему вниманию 40-й сборник рецептов, в который вошли:

* парсер данных о посещаемости организаций
* парсер данных о SSL сертификатах
* парсер товаров на ikea.com
* комплексный пресет для анализа доменов по ряду характеристик
* способ извлечения доменов из ссылок без фактического захода на страницу


Посещаемость в Google Maps

В поисковой выдаче Google для определенных запросов отображается расширенный сниппет с информацией об организации из Google карт. В частности, обычно отображается информация о посещаемости в разрезе дней недели.
Представляем парсер, который собирает данные о посещаемости.

Рисунок


Данные по SSL сертификату

Данный парсер собирает информацию о SSL сертификате сайта. В качестве источника данных используется сторонний ресурс.

Рисунок


Парсер ikea.com

Парсер данных из ikea.com, который позволяет собирать различную информацию о товарах. Согласно данным из Википедии, ikea - это одна из крупнейших в мире торговых сетей по продаже мебели и товаров для дома.

Рисунок


Кроме этого:

* Получение доменов из ссылок без захода на страницу
* Информация о сайте (домене)


Еще больше различных рецептов в нашем Каталоге!
Предлагайте ваши идеи для новых парсеров здесь, лучшие будут реализованы и опубликованы.

Подписывайтесь на наш канал на Youtube - там регулярно выкладываются видео с примерами использования A-Parser, а также следите за новостями в Twitter.

Все сборники рецептов

Рисунок
Видео урок: Сохранение результатов в несколько файлов используя переменные, массивы и условия

В этом видео уроке рассмотрены способы сохранения результатов в несколько файлов, используя переменные и массив, при определенных условиях.

Рисунок


В видео рассмотрено:
* Вывод результатов в разные файлы с разными именами используя переменные
* Вывод результатов для каждого файла отдельно по определенному условию
* Вывод результатов для двух файлов с условием, используя массив

Полезные ссылки:
* https://a-parser.com/wiki/template-toolkit/ - Шаблонизатор Template Toolkit
* http://template-toolkit.ru/Manual/Directives.html#Uslovnaya_obrabotka - условная обработка (IF, UNLESS, ELSIF, ELSE)
* http://template-toolkit.ru/Manual/Directives.html#Ciklicheskaya_obrabotka - циклическая обработка FOREACH
* https://a-parser.com/wiki/task-tester/ - тестировщик заданий

Оставляйте комментарии и подписывайтесь на наш канал на YouTube!

Рисунок
Разработчикам A-Parser огромный респект! Пользуюсь сервисом уже несколько месяцев, заменяет мне кучу других сервисов, которыми я раньше пользовался. Снимаю позиции по сайтам, качаю вордстат в больших объёмах и паршу магазины! И всё это в одном сервисе! Очень доволен.
Сборник рецептов #41: Google таблицы, отправка писем и авторизация с помощью puppeteer

Представляем 41-й сборник рецептов, который полностью посвящен использованию различных Node.js модулей в A-Parser.
* Работа с Google таблицами
* Отправка писем из А-Парсера
* Авторизация с помощью puppeteer

Сохранение результатов в Google SpreadSheets

Один из часто задаваемых вопросов в поддержке, это вопрос о возможности писать результаты прямо в Google Таблицы. Поэтому мы подготовили небольшой пример парсера, который демонстрирует такую возможность.

Рисунок


Отправка почтовых писем

Еще одна возможность, о которой часто спрашивают наши пользователи - отправка писем. Такой функционал может быть использован для уведомлений о различных событиях в заданиях, в том числе о завершении их работы. Поэтому мы также подготовили пример, демонстрирующий отправку писем прямиком из А-Парсера.

Рисунок


Авторизация на GitHub с использованием puppeteer

Еще один пример по заявкам наших пользователей, демонстрирующий загрузку страницы, авторизацию на ресурсе и простую навигацию.

Рисунок



Еще больше различных рецептов в нашем Каталоге!

Предлагайте ваши идеи для новых парсеров здесь, лучшие будут реализованы и опубликованы.

Подписывайтесь на наш канал на Youtube - там регулярно выкладываются видео с примерами использования A-Parser, а также следите за новостями в Twitter.

Все сборники рецептов

Рисунок
Страницы: Пред. 1 2 3 4 5 6
Похожие темы:
Читают тему (гостей: 1, пользователей: 0, из них скрытых: 0)
Новые темыОбъявленияСвободное общение
09:50 Глубинный апдейт основного алгоритма Google 
09:30 Текстовый апдейт 26 мая 2020 | Поздравляем с Днём Российского предпринимательства! 
03:02 Как собрать семантическое ядро!? Словоеб не парсит. 
01:59 Тонкости сайта про Дизайн Интерьеров 
01:10 Как установить рекламу партнёрки на сайт. 
01:07 "Вега" — большое обновление поиска более месяца спустя 
19:24 Как всунуть в фон сайта 
09:57 Составление семантического ядра. Ваши деньги работают! 
05:48 Вечные ссылки с ТОПОВЫХ ресурсов! Размещение вечных трастовых ссылок с тИЦ от + 1000 до +45000 
23:06 Telegram каналы, группы - дешёвые подписчики, просмотры постов 
23:05 Продам дешёвый траффик на накрутку . Бесплатый тест! 
22:14 Продам канал Яндекс Дзен 
22:13 Купить/продать каналы Яндекс Дзен 
20:11 OkSender – программа для продвижения в социальной сети Одноклассники. 
08:57 Дистанционное обучение в школе 
01:24 Гиперэкстензия или экстензия 
22:09 с 12 мая нерабочие дни завершаются 
21:18 Ruposters: Россиян попросили не строить планы на отдых за границей 
21:15 Массовая вакцинация россиян от коронавируса 
20:32 "Связной" ожил! 
19:29 [b]Webvork [/b]- международная товарная СРА сеть с сертифицированными офферами на Европу.