A-Parser 1.1 - продвинутый парсер поисковых систем, Suggest, PR, DMOZ, Whois, etc
Страницы: Пред. 1 ... 5 6 7 8 9
A-Parser 1.1 - продвинутый парсер поисковых систем, Suggest, PR, DMOZ, Whois, etc
1.2.1549 - новый парсер CoinMarketCap, полностью переписаны 9 парсеров и новые опции в существующих

Рисунок


Улучшения
* Добавлен новый парсер CoinMarketCap::LastPrice
* Парсер SE::Yandex::Register полностью переписан, восстановлена возможность регистрировать аккаунты
* Парсеры SE::Yandex::WordStat, SE::Yandex::WordStat::ByDate и SE::Yandex::WordStat::ByRegion полностью переписаны, добавлен новый функционал (выбор способа авторизации, регистрация аккаунтов "на лету", сессии...), полный список изменений здесь
* HTML::EmailExtractor полностью переписан, благодаря использованию в качестве основы HTML::LinkExtractor кроме собственно парсинга почт, стали доступными множество возможностей: сбор ссылок, парсинг в глубину, использование Chrome и т.д.
* Все парсеры Instagram переписаны на JS APIv2, а также адаптированы к изменениям на источнике, больше информации здесь
* Увеличено максимальное кол-во страниц в SE::Google до 100
* Добавлен сбор даты со сниппета в парсерах Google
* В парсере SE::Bing добавлена опция Fix pagination bug, устраняющая баг в поиске Bing, из-за которого отдаются пустые 2-я и последующие страницы
* В парсере Shop::Wildberries::ProductInfo добавлен сбор данных о продавце и возможность определять наличие товара
* В парсере SE::Startpage добавлена опция Links per page и обновлен список доступных вариантов в существующих опциях
* В SE::DuckDuckGo добавлено опцию Use HTTP/2
* Net::HTTP: добавлена опция Ban Proxy Code RegEx
* Добавлена возможность задавать произвольный уровень для подзапросов (query.add)
* Добавлена опция needResults для this.parser.request

Исправления в связи с изменениями в выдаче
* Адаптация к изменениям в верстке Google и Yandex
* Восстановлена работа с рекаптчами в SE::Google, детальная информация об изменениях здесь
* Исправлен парсинг $title в Shop::Wildberries::ProductInfo
* SE::Google::TrustCheck, SE::Google::Images, Shop::Yandex::Market, Shop::Wildberries::ProductsList, SE::Dogpile, SE::Startpage

Исправления
* Исправлена работа HTTP keep-alive, в некоторых случаях сокет закрывался раньше времени
* Исправлена ошибка в опции Follow common redirects
* Redis API: исправлена работа некоторых парсеров, проблема возникала с парсерами, использующими оптимизацию результатов

Рисунок


Рисунок
Сборник рецептов #51: история IP-адресов и парсинг страниц контактов

51-й сборник рецептов, в котором мы делимся парсером сервиса builtwith.com и пресетом для сбора страниц контактов и контактных данных.

Парсер BuiltWith.com. История IP-адресов и взаимосвязи
Сервис builtwith.com предоставляет пользователям различные данные которые помогают в лидогенерации, аналитике продаж и информации о доле ранка передовых технологи.
Для демонстрации возможностей А-Парсера по созданию JavaScript парсеров и обхода капчи в кастомных парсерах был создан данный пример, который реализует сбор малой части возможностей сервиса builtwith.com, а именно: сбор истории IP-адресов по нужному домену и другие веб-сайты, которые имеют общие IP-адреса с введенным доменом. Полезен SEO-специалистам для поиска сайтов конкурентов, сеток конкурентов, айпи адресов в временном промежутке.
Рисунок


Парсинг страниц контактов, страниц Privacy Policy и Terms of use, email, соц. сети
При помощи данного парсера можно собрать контактные данные со страниц контактов и страниц о компании. Страницы контактов часто содержат контактную форму, поэтому ссылку на нее тоже выводим в результат. Так же парсер собирает страницы Privacy Policy и Terms of use, на страницах которых иногда есть email. Дополнительно происходит сбор соц. сетей (фейсбук и твиттер). Все это необходимо для того чтобы можно было связаться по различным каналам с владельцами или администрацией сайтов для взаимодействия и сотрудничества.
Рисунок



Еще больше различных рецептов в нашем Каталоге!

Предлагайте ваши идеи для новых парсеров здесь, лучшие будут реализованы и опубликованы.

Подписывайтесь на наш канал на Youtube - там регулярно выкладываются видео с примерами использования A-Parser, а также следите за новостями в Twitter.

Все сборники рецептов

Рисунок


Рисунок
1.2.1604 - парсинг Google People also ask, новые методы в JS парсерах, адаптация к изменениям

Рисунок


Улучшения
* В SE::Google добавлен парсинг People also ask
* В Rank::Ahrefs добавлен новый метод парсинга, данные, получаемые старым способом немного отличались от таковых в браузере
* Реализована защита от gzip bomb
* В SE::Yandex::Register улучшена работа с номерами и оптимизирован процесс регистрации
* Улучшена работа с сессиями в SE::Yandex::WordStat
* Для парсеров Яндекс добавлена возможность использовать аккаунты на своих доменах
* Во всех парсерах Яндекса работа со smart captcha адаптирована к изменениям на источниках
* JS парсеры: добавлен метод this.puppeteer.logScreenshot(), он позволяет логировать скриншот текущей страницы
* JS парсеры: добавлены методы this.isContextAlive(), this.console.log, this.console.setPrefix и .setGlobalConsolePrefix, подробнее здесь и здесь
* В SE::Yandex::WordStat::ByDate добавлена корректная обработка ситуаций, когда по запросу нет результатов
* HTML::TextExtractor - оптимизирована скорость обработки

Исправления в связи с изменениями в выдаче
* Адаптация к изменениям в верстке Google и Яндекс
* SE::Yandex::Register адаптирован к изменениям на источнике
* Исправлена авторизация по логин/паролю в SE::Google::KeywordPlanner
* SE::Google::SafeBrowsing, Telegram::GroupScraper, SE::Baidu, Rank::MajesticSEO, Shop::Wildberries::Suggest, Social::Instagram::Tag, Social::Instagram::Profile

Исправления
* Исправлена проблема с зависанием HTML::TextExtractor::LangDetect на некоторых запросах
* Исправлена работа методов tools.task.* в JS API v2
* Исправлена ошибка кодировки в Net::HTTP
* Исправлена работа с прокси в Puppeteer, проблема появилась в одной из предыдущих версий
* Исправлена ошибка со сбором title в Shop::Wildberries::ProductInfo в некоторых случаях
* В Shop::Wildberries::ProductsList исправлен парсинг тегов
* Исправлена работа SE::Bing::Translator в некоторых случаях
* Исправлена некорректная инициализация Node на лицензии Enterprise
* В SE::Bing - исправлена ошибка с выводом $pages

Рисунок


Рисунок
Полезное видео: Как использовать A-Parser для крауд-маркетинга

Рисунок


Наши друзья из Ant-Team.ru сняли полезное видео о том, как использовать A-Parser для крауд-маркетинга.

Крауд-маркетинг использует отзывы и комментарии на сторонних ресурсах для продвижения компании.

В видео показано, как выставить настройки в A-Parser, чтобы парсить поисковую выдачу Яндекс по информационным запросам, и какие переменные нужны для парсинга. Дана подробная инструкция, как добавлять в A-Parser прокси и сервисы разгадывания капчи.

Также вы узнаете, как проверять качество ссылочной массы, рейтинг домена, беклинки и т.д.

Смотреть видео на YouTube​

Подписывайтесь на их телеграм-канал, там много полезной информации по SEO: https://t.me/seoantteam
Автоматизация в SEO: как заменить отдел джунов парсером?

Совсем недавно прошла юбилейная десятая онлайн-конференция по интернет-маркетингу Baltic Digital Days. Специалист по SEO Георгий Шилов выступил с докладом на тему "Автоматизация в SEO: как заменить отдел джунов парсером?"

В докладе содержится много полезной информации по использованию A-Parser. Вы узнаете:
- Что такое парсер
- Сколько стоит джун в SEO
- Проблемы в SEO
- Автоматизация рутинных задач
- Кластеризация
- Мониторинг позиций
- Комбинируем пресеты для решения любых задач
- Тех. анализ и мониторинг

и другие решения с помощью A-Parser

Смотреть видео на YouTube
Сборник рецептов #52: чекер e-mail, отзывы Wildberries и двойные ссылки в выдаче Google

52-й сборник рецептов, в котором опубликованы парсер для универсальной проверки e-mail, парсер отзывов из Wildberries и пресет для сбора двойных ссылок одного сайта из выдачи Google.

Универсальный чекер e-mail
Парсер для универсальной проверки почт. Делается проверка на валидность, на наличие MX записей и на существование почты.
Рисунок


Парсер отзывов Wildberries Reviews
Парсинг отзывов из Wildberries в CSV таблицу с возможностью задать локацию и необходимое кол-во отзывов.
Рисунок


Сбор двойных ссылок одного сайта из Google выдачи
Парсинг двойных ссылок одного сайта с первой страницы выдачи Google в CSV таблицу.
Рисунок



Еще больше различных рецептов в нашем Каталоге!

Предлагайте ваши идеи для новых парсеров здесь, лучшие будут реализованы и опубликованы.

Подписывайтесь на наш канал на Youtube - там регулярно выкладываются видео с примерами использования A-Parser, а также следите за новостями в Twitter.

Все сборники рецептов

Рисунок


Рисунок
Курс "Специалист по дропам и PBN с нуля до профи" используя A-Parser (+включает лицензию)

Рисунок


Наш хороший друг Николай Кодий (https://t.me/mypbn) запускает очередной набор на курс по подбору дропов и построению качественных сеток PBN, с применением A-Parser в качестве одного из основных инструментов.

Старт - 26 сентября.

Что это за обучение?
Практический курс, после которого вы научитесь и узнаете:

— какой софт нужен для поиска дропов, сколько он стоит, как продлевается и регится
— как правильно анализировать и выбирать дропы для себя и на продажу, чтобы не получить фуфло
— как строить PBN, что с ними делать дальше и как на них зарабатывать
— как с помощью знаний, которые он даёт, стать универсальным и востребованным специалистом по построению PBN под любые страны и тематики

Для кого это обучение?
— Для seo-мастеров, которые хотят продвигать сложные ниши в различных гео. Для тех, кто ищет новые методы линкбилдинга. Для тех, кто хочет в текущей компании повысить компетенции и доход
— Для тех, кто хочет освоить в новом году новую профессию. И стать специалистом в PBN

Больше нигде вы не получите такой системной и понятной теории, такого большого практического опыта и возможности смотреть и усваивать информацию на живых вебинарах с преподавателем, отвечающим именно на ваши вопросы.

Каждый из студентов бесплатно получает весь лицензионный софт (в том числе и A-Parser), необходимый для подбора дропов.

Подробнее о курсе читайте на ленде курса - https://kurs.pbn.link
И на FB странице Николая - https://www.facebook.com/nkodiy/posts/5305252276258938

Рисунок
1.2.1661 - новые парсеры: Яндекс Балабоба и позиции в DuckDuckGo, улучшения во встроенных парсерах

Рисунок


Улучшения
* Добавлен парсер позиций DuckDuckGo: SE::DuckDuckGo::Position
* Добавлен парсер Яндекс Балабоба: SE::Yandex::Balaboba
* Реализована работа с XEvil через API Antigate v2
* Добавлена передача кук Google при включении опции ReCaptcha2 pass proxy в SE::Google
* Обновлен список доменов в SE::Yandex
* В связи с тем, что Яндекс теперь всегда выдает по 10 результатов на страницу, в SE::Yandex убран параметр Links per page
* В HTML::LinkExtractor и Check::BackLink добавлен сбор <a> тега
* В Shop::AliExpress добавлена поддержка сессий
* В HTML::EmailExtractor добавлена опция Skip meta tags, при ее включении указывает парсеру не собирать почты в meta тегах
* В парсере DeepL::Translator актуализирован список языков

Исправления в связи с изменениями в выдаче
* Исправлено определение опечатки по запросу в SE::Yandex
* SE::Yandex::WordStat - исправлена авторизация в режиме HTTP
* Исправлено определение рекламы в SE::Yandex::Direct
* Исправлен Shop::Wildberries::ProductsList при парсинге по ключевым словам
* SE::Baidu - исправлена работа в тех случаях, когда по запросу нет результатов
* SE::Google, SE::Yandex, SE::Bing, SE::Google::Images, Rank::MajesticSEO, Rank::MOZ, Shop::AliExpress, Shop::Amazon, SE::Pinterest

Исправления
* Исправлен выбор региона в SE::Yandex
* Исправлена обработка url с кириллицей в PAA SE::Google
* Исправлена работа SE::Google::KeywordPlanner, в некоторых случаях парсер не видел ответ и ошибочно повторял попытки
* Исправлена ошибка логина в парсере SE::Yandex::Direct
* В SE::Yandex::Register исправлен баг при отображении Яндексом ошибки о некорректном номере телефона или о других проблемах
* SE::Google::Translate - в некоторых случаях парсинг завершался с ошибкой
* Исправлен баг с ошибочным выводом результатов в Net::HTTP при сборе через регулярку, в случаях когда один запрос отработал успешно, а другой нет, и второй вывел результаты первого
* Исправлена ошибка с висящими процессами Chrome после завершения задания на Windows 11
* Исправлена доступность fs.constants

Рисунок


Рисунок
Сборник статей #16: вывод результатов в JSON, синхронизации файлов и SEO кейс продвижения сайта

Представляем 16-й сборник статей, в который вошли статья о вариантах вывода результатов в JSON виде, статья о синхронизации А-Парсеров на разных ПК с помощью Google Диск и SEO кейс продвижения сайта с выходом на иностранный рынок.

Обзор вариантов вывода результатов в JSON виде
Полный обзор всех возможных способов вывода результатов в JSON виде с примерами: вывод в JSON для одиночных запросов, формирование JSON построчно, формирование объекта в памяти и вывод результатов в JSON в конце работы задания.
Рисунок



Синхронизация А-Парсеров на разных ПК с помощью Google Диск (Google Drive)
В этой статье описывается как синхронизировать файлы А-Парсера, конфиги, все настройки которые вы сделали на одном ПК, с другим ПК.
В качестве инструмента будет использоваться простой и бесплатный Google Диск (Google Drive) с помощью которого вы можете хранить и передавать коллегам файлы и папки, а также работать над ними вместе с другими пользователями на компьютере или мобильном устройстве.
Рисунок



Как мы потратили 1 млн рублей для выхода на иностранный рынок SEO: кейс с расходами и результатами
Статья на vc.ru о том, как мы за 3 месяца вывели сайт с нуля в топ по Южной Африке. Делимся готовой пошаговой схемой быстрого вывода сайта на иностранный рынок, с данными по нагрузке сотрудников, расходами, таблицами и примерами ТЗ.
Для массовой проверки выдачи Google использовался Python и парсер A-Parser.
Кейсы по применению нашего парсера Google и его описание:
https://a-parser.com/docs/parsers/se-google

Рисунок



Если вы хотите, чтобы мы более подробно раскрыли какой-то функционал парсера, у вас есть идеи для новых статей или вы желаете поделиться собственным опытом использования A-Parser (за небольшие плюшки smile:) ) - отписывайтесь здесь.

Подписывайтесь на наш канал на Youtube - там регулярно выкладываются видео с примерами использования A-Parser, а также следите за новостями в Twitter.

Все сборники статей

Рисунок


Рисунок
Сборник рецептов #53: популярные запросы Google Trends, парсер yep.com и проверка домена в выдаче

53-й сборник рецептов, в котором собраны парсер популярных запросов за сутки на Google Trends, парсер yep.com и пресет для проверки на содержание доменов в выдаче.

Парсинг популярных запросов за сутки Google Trends
Парсер для сбора поисковых трендов за сутки с Гугл Трендс. Собираются дата, название запроса, трафик, похожие запросы и ссылка на позицию.
Рисунок


Парсер yep.com
Простой пресет для парсинга поисковой системы yep.com.
Рисунок


Yandex - проверка на содержание доменов в выдаче
Пресет для проверки на содержание доменов в выдаче с записью в разные файлы результатов по условию.
Рисунок


Еще больше различных рецептов в нашем Каталоге!

Предлагайте ваши идеи для новых парсеров здесь, лучшие будут реализованы и опубликованы.

Подписывайтесь на наш канал на Youtube - там регулярно выкладываются видео с примерами использования A-Parser, а также следите за новостями в Twitter.

Все сборники рецептов

Рисунок


Рисунок
1.2.1683 - новый парсер Cloudflare::Radar, поддержка сервиса CaptchaAI, исправления ошибок

Рисунок


Улучшения
* Добавлен новый парсер Cloudflare::Radar, определяет категории доменов
* В парсеры Util::ReCaptcha2, Util::ReCaptcha3, Util::hCaptcha добавлена поддержка сервиса CaptchaAI
* В Rank::Ahrefs добавлен сбор рейтинга страницы (URL rating)
* Обновлен список языков в DeepL::Translator

Исправления в связи с изменениями в выдаче
* Адаптация к изменениям в верстке Google и Яндекс
* Исправлен сбор totalcount в SE::Yandex для некоторых запросов
* Исправлен выбор региона в SE::Yandex::Direct
* Исправлена работа Rank::Ahrefs::KeywordGenerator c Country - United Kingdom
* В Shop::Yandex::Market по некоторым запросам не было результатов
* SE::Google::Images, Rank::Ahrefs::KeywordGenerator, Shop::Yandex::Market

Исправления
* Исправлено лишнее использование сессии на последней попытке в SE::Google
* Исправлен парсинг поисковой выдачи Яндекс, когда в выдаче только 1 результат
* Исправлена ошибка в Telegram::GroupScraper, из-за которой парсились не все имена и ссылки на логины
* Исправлен баг в SE::Yandex::Position, из-за которого ошибочно осуществлялся поиск по запросу вместе с искомым доменом
* Исправлена проблема в Check::RosKomNadzor, из-за которой при массовом парсинге иногда не менялась прокси
* В HTML::LinkExtractor исправлен сбор внутренних ссылок после редиректа
* Puppeteer: улучшена работа с сайтами, запрашивающими доступ в модальном диалоге

Рисунок
Рисунок
Обновленные пресеты в каталоге A-Parser

Парсинг базы фильмов из IMDB
Парсер получает данные о каждом фильме и записывает их в результат: название, дата выхода, рейтинг, рекомендаций к ним и другое

Получение показателей скорости загрузки сайтов с помощью Chrome UX Report Compare Tool
Получение показателей скорости загрузки сайтов с помощью Chrome UX Report Compare Tool. Используется технология Chrome User Experience Report (CrUX) - это набор данных, отражающий, как реальные пользователи Chrome взаимодействуют с популярными сайтами в Интернете.

Парсер профиля YouTube
Парсинг данных о Youtube канале: дата регистрации, количество просмотров, страна, email из описания (если есть), описание, ссылки

Парсинг istio.com
Парсер для анализа текстов на сервисе istio.com. С его помощью можно определить такие показатели как тошнота, водность, словари, тематика, статистика и т.п. В качестве запросов можно подавать как тексты, так и ссылки на страницы.

Оценка страниц с использованием Lighthouse
Парсер для оценки производительности, доступности и оптимизации веб-страниц с использованием технологии Lighthouse. Lighthouse - это автоматизированный инструмент с открытым исходным кодом для улучшения качества веб-страниц. С помощью данной технологии осуществляется аудит сайта и можно получить такие показатели как производительность, доступность, оценку доступности для поисковых систем и т.д.

Еще больше различных парсеров и пресетов в нашем Каталоге!
Присылайте свои идеи для новых парсеров сюда, самые интересные и востребованные мы обязательно реализуем!

Рисунок
Рисунок
Видео урок: Сбор форм комментариев с помощью A-Parser

Новый видео урок по работе с A-Parser от DIM STUDIO в котором показан сбор форм комментариев.

Загрузка плеера


Данный видео урок показывает, как собрать сайты, где можно оставить свой комментарий в форму комментирования статей.

Плейлист со всеми видео уроками от DIM STUDIO

Оставляйте комментарии и подписывайтесь на наши каналы на YouTube: A-Parser и DIM STUDIO!

Рисунок


Рисунок
Страницы: Пред. 1 ... 5 6 7 8 9
Похожие темы:
Читают тему (гостей: 1, пользователей: 0, из них скрытых: 0)
Новые темыОбъявленияСвободное общение
06:16 Пост в блоге "2022 год. Кризис. Что делать с SEO? Вкладывать деньги" 
21:47 Группа в фейсбуке 
21:00 Perfect.Studio: InstAccountsManager — лучший инструмент для автоматизации заработка в Instagram 
21:54 Turbobit.net - Официальная тема, Costaction ПП 
20:58 Webvork - международная товарная СРА сеть с сертифицированными офферами на Европу. 
20:11 Dao.AD: Монетизация и покупка Push/Pops/Inpage и Video трафика! 
15:14 Adtrafico - Правильная партнёрская сеть под бурж трафик 
06:01 Написание софта, разработка сайтов, моб. приложений и игр 
04:38 Cosmochanger.cc - Самый реактивный обменник. Быстрый и безопасный способ обменять более 20 популярных криптовалют 
21:31 Горячие лиды Forex\Crypto. БД 2022. 
11:54 Оптимизация сайтов, продвижение, наращивание ссылок. Большой опыт работы 
06:30 BetaTransfer касса — это надежный сервис приема платежей в сфере High Risk 
19:04 Антидетект браузер GoLogin для мультиаккаунтинга 
15:23 Обмен/Ввод/Вывод криптовалют и электронных денег в разных странах 
21:28 Подтягиваем физкультурку 
07:12 В России разработают литограф для производства чипов по 7-нм техпроцессу 
02:18 Россия может запустить «национальную криптобиржу» 
11:58 Курс доллара упал ниже 85 рублей 
21:31 Ням-ням! - 8 деликатесов, которые когда-то ели только бедные люди 
11:31 37 противникам прививок от COVID грозят уголовные дела 
10:32 Илон Маск показал, как обезьяна с чипом "телепатической печати" попросила угощение