A-Parser 1.1 - продвинутый парсер поисковых систем, Suggest, PR, DMOZ, Whois, etc
Страницы: Пред. 1 ... 5 6 7 8 9
A-Parser 1.1 - продвинутый парсер поисковых систем, Suggest, PR, DMOZ, Whois, etc
1.2.1549 - новый парсер CoinMarketCap, полностью переписаны 9 парсеров и новые опции в существующих

Рисунок


Улучшения
* Добавлен новый парсер CoinMarketCap::LastPrice
* Парсер SE::Yandex::Register полностью переписан, восстановлена возможность регистрировать аккаунты
* Парсеры SE::Yandex::WordStat, SE::Yandex::WordStat::ByDate и SE::Yandex::WordStat::ByRegion полностью переписаны, добавлен новый функционал (выбор способа авторизации, регистрация аккаунтов "на лету", сессии...), полный список изменений здесь
* HTML::EmailExtractor полностью переписан, благодаря использованию в качестве основы HTML::LinkExtractor кроме собственно парсинга почт, стали доступными множество возможностей: сбор ссылок, парсинг в глубину, использование Chrome и т.д.
* Все парсеры Instagram переписаны на JS APIv2, а также адаптированы к изменениям на источнике, больше информации здесь
* Увеличено максимальное кол-во страниц в SE::Google до 100
* Добавлен сбор даты со сниппета в парсерах Google
* В парсере SE::Bing добавлена опция Fix pagination bug, устраняющая баг в поиске Bing, из-за которого отдаются пустые 2-я и последующие страницы
* В парсере Shop::Wildberries::ProductInfo добавлен сбор данных о продавце и возможность определять наличие товара
* В парсере SE::Startpage добавлена опция Links per page и обновлен список доступных вариантов в существующих опциях
* В SE::DuckDuckGo добавлено опцию Use HTTP/2
* Net::HTTP: добавлена опция Ban Proxy Code RegEx
* Добавлена возможность задавать произвольный уровень для подзапросов (query.add)
* Добавлена опция needResults для this.parser.request

Исправления в связи с изменениями в выдаче
* Адаптация к изменениям в верстке Google и Yandex
* Восстановлена работа с рекаптчами в SE::Google, детальная информация об изменениях здесь
* Исправлен парсинг $title в Shop::Wildberries::ProductInfo
* SE::Google::TrustCheck, SE::Google::Images, Shop::Yandex::Market, Shop::Wildberries::ProductsList, SE::Dogpile, SE::Startpage

Исправления
* Исправлена работа HTTP keep-alive, в некоторых случаях сокет закрывался раньше времени
* Исправлена ошибка в опции Follow common redirects
* Redis API: исправлена работа некоторых парсеров, проблема возникала с парсерами, использующими оптимизацию результатов

Рисунок


Рисунок
Сборник рецептов #51: история IP-адресов и парсинг страниц контактов

51-й сборник рецептов, в котором мы делимся парсером сервиса builtwith.com и пресетом для сбора страниц контактов и контактных данных.

Парсер BuiltWith.com. История IP-адресов и взаимосвязи
Сервис builtwith.com предоставляет пользователям различные данные которые помогают в лидогенерации, аналитике продаж и информации о доле ранка передовых технологи.
Для демонстрации возможностей А-Парсера по созданию JavaScript парсеров и обхода капчи в кастомных парсерах был создан данный пример, который реализует сбор малой части возможностей сервиса builtwith.com, а именно: сбор истории IP-адресов по нужному домену и другие веб-сайты, которые имеют общие IP-адреса с введенным доменом. Полезен SEO-специалистам для поиска сайтов конкурентов, сеток конкурентов, айпи адресов в временном промежутке.
Рисунок


Парсинг страниц контактов, страниц Privacy Policy и Terms of use, email, соц. сети
При помощи данного парсера можно собрать контактные данные со страниц контактов и страниц о компании. Страницы контактов часто содержат контактную форму, поэтому ссылку на нее тоже выводим в результат. Так же парсер собирает страницы Privacy Policy и Terms of use, на страницах которых иногда есть email. Дополнительно происходит сбор соц. сетей (фейсбук и твиттер). Все это необходимо для того чтобы можно было связаться по различным каналам с владельцами или администрацией сайтов для взаимодействия и сотрудничества.
Рисунок



Еще больше различных рецептов в нашем Каталоге!

Предлагайте ваши идеи для новых парсеров здесь, лучшие будут реализованы и опубликованы.

Подписывайтесь на наш канал на Youtube - там регулярно выкладываются видео с примерами использования A-Parser, а также следите за новостями в Twitter.

Все сборники рецептов

Рисунок


Рисунок
1.2.1604 - парсинг Google People also ask, новые методы в JS парсерах, адаптация к изменениям

Рисунок


Улучшения
* В SE::Google добавлен парсинг People also ask
* В Rank::Ahrefs добавлен новый метод парсинга, данные, получаемые старым способом немного отличались от таковых в браузере
* Реализована защита от gzip bomb
* В SE::Yandex::Register улучшена работа с номерами и оптимизирован процесс регистрации
* Улучшена работа с сессиями в SE::Yandex::WordStat
* Для парсеров Яндекс добавлена возможность использовать аккаунты на своих доменах
* Во всех парсерах Яндекса работа со smart captcha адаптирована к изменениям на источниках
* JS парсеры: добавлен метод this.puppeteer.logScreenshot(), он позволяет логировать скриншот текущей страницы
* JS парсеры: добавлены методы this.isContextAlive(), this.console.log, this.console.setPrefix и .setGlobalConsolePrefix, подробнее здесь и здесь
* В SE::Yandex::WordStat::ByDate добавлена корректная обработка ситуаций, когда по запросу нет результатов
* HTML::TextExtractor - оптимизирована скорость обработки

Исправления в связи с изменениями в выдаче
* Адаптация к изменениям в верстке Google и Яндекс
* SE::Yandex::Register адаптирован к изменениям на источнике
* Исправлена авторизация по логин/паролю в SE::Google::KeywordPlanner
* SE::Google::SafeBrowsing, Telegram::GroupScraper, SE::Baidu, Rank::MajesticSEO, Shop::Wildberries::Suggest, Social::Instagram::Tag, Social::Instagram::Profile

Исправления
* Исправлена проблема с зависанием HTML::TextExtractor::LangDetect на некоторых запросах
* Исправлена работа методов tools.task.* в JS API v2
* Исправлена ошибка кодировки в Net::HTTP
* Исправлена работа с прокси в Puppeteer, проблема появилась в одной из предыдущих версий
* Исправлена ошибка со сбором title в Shop::Wildberries::ProductInfo в некоторых случаях
* В Shop::Wildberries::ProductsList исправлен парсинг тегов
* Исправлена работа SE::Bing::Translator в некоторых случаях
* Исправлена некорректная инициализация Node на лицензии Enterprise
* В SE::Bing - исправлена ошибка с выводом $pages

Рисунок


Рисунок
Полезное видео: Как использовать A-Parser для крауд-маркетинга

Рисунок


Наши друзья из Ant-Team.ru сняли полезное видео о том, как использовать A-Parser для крауд-маркетинга.

Крауд-маркетинг использует отзывы и комментарии на сторонних ресурсах для продвижения компании.

В видео показано, как выставить настройки в A-Parser, чтобы парсить поисковую выдачу Яндекс по информационным запросам, и какие переменные нужны для парсинга. Дана подробная инструкция, как добавлять в A-Parser прокси и сервисы разгадывания капчи.

Также вы узнаете, как проверять качество ссылочной массы, рейтинг домена, беклинки и т.д.

Смотреть видео на YouTube​

Подписывайтесь на их телеграм-канал, там много полезной информации по SEO: https://t.me/seoantteam
Страницы: Пред. 1 ... 5 6 7 8 9
Похожие темы:
Читают тему (гостей: 1, пользователей: 0, из них скрытых: 0)
Новые темыОбъявленияСвободное общение
15:46 Profit Pixels - In-House Форекс, Крипто, Трейдинг CPA Офферы | Еженедельные Выплаты | CPA до $950 
15:11 DreamCash.tl - заработок на онлайн-видео. До 95% отчислений, отличный конверт! 
14:54 3snet - гемблинг, беттинг, форекс, бинарные опционы, майнинг 
05:57 Яндекс выдача 15 августа 2022 
00:11 Апдейт Яндекс выдача 13 августа 2022 
18:09 AviTool - мощный инструмент для автоматизации работы с Avito 
20:27 VKAccountsManager — лучший инструмент для продвижения и заработка Вконтакте 
18:58 Напишу посты для ВК за отзывы на Kwork 
17:19 Ural-obmen.ru — выгодный сервис обмена 
16:58 Obama.ru - безопасный обмен криптовалют и электронных денежных средств 
11:47 Размещу ссылки/статьи на ваш сайт | Рост ИКС | XRumer 19.0.11 
11:17 BestChange – обменивать электронную валюту можно быстро и выгодно 
09:52 Majento SiteAnalyzer - бесплатная программа для аудита и анализа сайта 
18:41 Scsobmen.com – сервис обмена цифровых валют (электронных денег и криптовалют). 
19:00 Как обходить блокировку Ютуба 
18:53 Wildberries сменил название сайта 
15:50 Есть нормальная Тизерка? 
18:38 С юмором по жизни! 
11:29 Перл Орфограммки 
09:58 Как принимать заказы на форуме 
09:23 Сбербанк предупредил о схеме мошенничества с "пирамидными" покупками на маркетплейсах