A-Parser 1.1 - продвинутый парсер поисковых систем, Suggest, PR, DMOZ, Whois, etc
Страницы: Пред. 1 2 3 4 5
A-Parser 1.1 - продвинутый парсер поисковых систем, Suggest, PR, DMOZ, Whois, etc
[URL=https://a-parser.com/threads/5523/][B]1.2.570 - новые парсеры API::Server::Redis и SE::Startpage, улучшения в существующих парсерах[/B][/URL]
[IMG]https://files.a-parser.com/img/1.2.570.png[/IMG]
[B]Улучшения[/B]
[LIST]
[*]Добавлен новый парсер API::Server::Redis (только для лицензий Enterprise)
[*]В [IMG]https://a-parser.com/img/parsers/se-google.png[/IMG][URL=https://a-parser.com/wiki/se-google-modern/]SE::Google::Modern[/URL] добавлена возможность определять наличие расширенных сниппетов (rich snippets) в выдаче
[*]В связи с изменениями на сервисе-источнике парсер SE::IxQuick был удален, а вместо него добавлен SE::Startpage с почти аналогичным функционалом
[*]Улучшена логика работы функции Get full links в SE::Baidu SE::Baidu
[*]В [IMG]https://a-parser.com/img/parsers/se-google.png[/IMG][URL=https://a-parser.com/wiki/se-google-modern/]SE::Google::Modern[/URL]  реализована возможность указывать дополнительные заголовки для запросов
[*]Улучшен парсинг меток сайтов в [IMG]https://a-parser.com/img/parsers/se-yandex.png[/IMG][URL=https://a-parser.com/wiki/se-yandex/]SE::Yandex[/URL], а также добавлена поддержка новых типов меток
[*]Улучшена логика работы функции Get full links в SE::Baidu
[*]Оптимизирован алгоритм обработки подзапросов
[/LIST]
[B]Исправления в связи с изменениями в выдаче[/B]
[LIST]
[*]Улучшена работа [IMG]https://a-parser.com/img/parsers/se-youtube.png[/IMG][URL=https://a-parser.com/wiki/se-youtube/]SE::YouTube[/URL], в связи с тестированием новой верстки
[*]В [IMG]https://a-parser.com/img/parsers/se-google-translate.png[/IMG][URL=https://a-parser.com/wiki/se-google-translate/]SE::Google::Translate[/URL] переработан механизм повторных попыток, добавлена поддержка сессий
[*]Исправлен парсинг сниппетов в [IMG]https://a-parser.com/img/parsers/se-google-images.png[/IMG][URL=https://a-parser.com/wiki/se-google-images/]SE::Google::Images[/URL]
[*]Поностью переработан [IMG]https://a-parser.com/img/parsers/googleplay-apps.png[/IMG][URL=https://a-parser.com/wiki/googleplay-apps/]GooglePlay::Apps[/URL]- теперь он парсит только первую страницу результатов
[*]Исправлен парсинг мобильной выдачи в SE::Google::Modern
[*]Исправлена работа [IMG]https://a-parser.com/img/parsers/se-seznam.png[/IMG][URL=https://a-parser.com/wiki/se-seznam/]SE::Seznam[/URL] при отсутствии результатов
[*]Исправлена работа [IMG]https://a-parser.com/img/parsers/rank-linkpad.png[/IMG][URL=https://a-parser.com/wiki/rank-linkpad/]Rank::Linkpad[/URL], парсер полностью переписан
[*][IMG]https://a-parser.com/img/parsers/se-bing-translator.png[/IMG][URL=https://a-parser.com/wiki/se-bing-translator/]SE::Bing::Translator[/URL], [IMG]https://a-parser.com/img/parsers/se-duckduckgo-images.png[/IMG][URL=https://a-parser.com/wiki/se-duckduckgo-images/]SE:: DuckDuckGo::Images[/URL], [IMG]https://a-parser.com/img/parsers/se-bing-images.png[/IMG][URL=https://a-parser.com/wiki/se-bing-images/]SE::Bing::Images[/URL]
[/LIST]
[B]Исправления[/B]
[LIST]
[*]Исправлена проблема, из-за которой в некоторых случаях при запросе через API возвращался пустой массив страниц
[*]Исправлено падение скорости в [IMG]https://a-parser.com/img/parsers/net-whois.png[/IMG][URL=https://a-parser.com/wiki/net-whois/]Net::Whois[/URL]
[*]Исправлен баг в оптимизации парсеров
[*]Исправлено сохранение параметра Report period в [IMG]https://a-parser.com/img/parsers/se-yandex-direct-frequency.png[/IMG][URL=https://a-parser.com/wiki/se-yandex-direct-frequency/]SE::Yandex:: Direct::Frequency[/URL]
[*]В [IMG]https://a-parser.com/img/parsers/html-linkextractor.png[/IMG][URL=https://a-parser.com/wiki/html-linkextractor/]HTML::LinkExtractor [/URL]исправлен сбор ссылок, если в них есть перенос строки
[/LIST]
[URL=https://telegram.me/joinchat/B52bKz_xVDH2GDiEU1MPsQ][IMG]https://files.a-parser.com/img/button_a-parser_small_550.png[/IMG][/URL]

Прогон по твиттеру, постинг в 1500 аккунтов
Постинг в твиттер аккаунты, для ускорения индексации ваших сайтов, сателлитов, дорвеев.

Видео урок: Поиск страниц контактов
В этом видео уроке рассмотрен пример решения задачи по поиску страниц контактов у заданного списка сайтов. Также парсится тайтл и все это сохраняется в CSV файл.
Загрузка плеера

В уроке рассмотрено:
* парсинг поиска Google для получения ссылки на страницу контактов
* парсинг главной страницы сайта для получения title
* использование инструмента $tools.CSVline для форматирования файла результата
* пример правильного импорта в Excel

Оставляйте комментарии и подписывайтесь на наш канал на YouTube!

Рисунок
Сборник рецептов #35: комментарии на Youtube, контакты на сайтах и японский Yahoo
35-й сборник результатов, где мы будем собирать комментарии из Youtube, искать контакты (телефоны и почты) на сайтах, а также парсить японскую выдачу Yahoo. Поехали!
Парсинг комментариев из Youtube
Представляем вашему вниманию JS парсер комментариев для видео на Youtube. С его помощью можно собирать тексты комментариев, а также информацию об авторах комментариев индивидуально для каждого видео. Также реализована возможность указывать количество страниц с комментарими, что позволяет при необходимости ограничить их сбор и тем самым увеличить скорость работы.
Рисунок


Извлекаем телефоны, начинающиеся на 3 с помощью HTML::EmailExtractor
Пресет, в котором показано, как с помощью HTML::EmailExtractor HTML::EmailExtractor собирать контакты со страниц сайтов. Данный пресет предназначен для сбора e-mail и телефонов, начинающихся с 3 (Украина), но при необходимости можно немного изменить регулярные выражения и собирать телефоны других стран.
Рисунок


SE::Yahoo::JP
JS парсер для парсинга японской выдачи Yahoo. Используется домен search.yahoo.co.jp. Собираются ссылки, анкоры и сниппеты, а также есть возможность задать количество страниц для парсинга.
Рисунок


Еще больше различных рецептов в нашем Каталоге!

Предлагайте ваши идеи для новых парсеров здесь, лучшие будут реализованы и опубликованы.

Подписывайтесь на наш канал на Youtube - там регулярно выкладываются видео с примерами использования A-Parser, а также следите за новостями в Twitter.

Рисунок
1.2.595 - новый парсер Ahrefs, инструмент для создания CSV и много других улучшений

Рисунок


Улучшения
[LIST]
[*]Добавлен новый парсер Рисунок
Rank::Ahrefs

[*]Добавлен инструмент $tools.CSVline для простого создания CSV файлов
[*]В связи с тестированием Гуглом новой верстки в поисковике, добавлена ее поддержка в Рисунок
SE::Google::Modern

[*]В Рисунок
SE::Google::Modern
в массив $serp добавлена переменная $amp, которая показывает, поддерживает ли страница AMP
[*]В Рисунок
SE::Yandex
в $serp.$i.label добавлена поддержка Турбо страниц, а также добавлен сбор типов меток сайтов
[*]В Рисунок
Net::HTTP
улучшена работа с редиректами, добавлена опция Follow common redirects
[*]Теперь в Рисунок
Util::ReCaptcha2
можно указать хост для используемого сервиса разгадывания, а также в Provider url можно указывать адреса через запятую (актуально для XEvil и CapMonster), парсер будет использовать каждый из них в случайном порядке
[*]Увеличено количество результатов в парсерах Рисунок
Rank::Bukvarix::*

[*]Добавлена опция ограничения числа логов, с целью оптимизации использования дискового пространства
[*]JS парсеры: улучшена пакетная обработка запросов
[/LIST]
Исправления в связи с изменениями в выдаче
[LIST]
[*]В Рисунок
Maps::Yandex
исправлена ситуация, при которой для части результатов не собирались данные
[*]Исправлен Рисунок
SE::Rambler

[/LIST]
Исправления
[LIST]
[*]Исправлена проблема с рядом парсеров, из-за которой они не работали, появилась в одной из предыдущих версий
[*]Исправлена ошибка в Рисунок
Rank::Alexa
, из-за которой при отсутствующих значениях запрос завершался с ошибкой
[*]Исправлен баг в Рисунок
Rank::MajesticSEO
, из-за которого в некоторых случаях запросы завершались с ошибкой
[*]Для парсеров Рисунок
[plain]Social::Instagram::profile[/plain]
и Рисунок
Social::Instagram::Tag
изменен перечень доступных переменных в связи с не совсем корректной работой в некоторых случаях
[/LIST]

Рисунок
Видео урок: Парсинг Google Maps для сбора всех организаций в определенной местности

В этом видео уроке рассмотрен способ сбора данных об организациях в указанной местности из Google Maps, используя встроенный парсер Гугл карт. Также показано как определить необходимые координаты на карте и задать их в парсере.

Загрузка плеера


В уроке рассмотрено:

* Парсинг карт Google с использованием Maps::Google
* Пример получения координат для использования в макросах подстановок
* Работа с макросами подстановок при наличии отрицательных чисел
* Импорт результата в Excel


Полезные ссылки:
[LIST]
[*]Готовый пресет в Каталоге
[*]Описание парсера Maps::Google
[*]Документация по макросам подстановок
[/LIST]
Оставляйте комментарии и подписывайтесь на наш канал на YouTube!

Рисунок
Изменено: A-Parser Support - 30 Октября 2019 20:29
Сборник статей #9: анализ страниц сайта, парсинг всех страниц сайта из индекса и проверка запросов

9-й сборник статей. В нем мы разберемся, как делать пресеты для анализа всех страниц сайта, научимся парсить все ссылки сайта из индекса ПС и будем проверять существование запросов. Поехали!

Создание пресета для анализа страниц сайта Анализ страниц на сайте - это один из самых популярных кейсов использования А-Парсера. При этом можно собирать очень много различных параметров, начиная от проверки доступности и заканчивая поиском определенных слов на странице.
О том, как сделать простой анализатор сайта и пойдет речь в этой статье.

Рисунок



Парсинг разными способами максимум результатов из индекса поисковых систем
Парсинг из индекса поисковых систем всех страниц сайта - это еще один популярный кейс для A-Parser. ПС ограничивают кол-во результатов по одному запросу, поэтому нужно как-то обходить это ограничение. Как это сделать - описано в нашей статье.

Рисунок



Проверка существования запросов
Пресет из этого примера позволяет проверить базу ключевых слов и определить, был ли запрос одноразовым без постоянного спроса или нет. Тем самым появляется возможность отфильтровать семантику и оставить только "хорошие" запросы. Больше деталей, а также готовый пресет - по ссылке выше.

Рисунок



Если вы хотите, чтобы мы более подробно раскрыли какой-то функционал парсера, у вас есть идеи для новых статей или вы желаете поделиться собственным опытом использования A-Parser (за небольшие плюшки smile:) ) - пишите здесь.


Подписывайтесь на наш канал на Youtube - там регулярно выкладываются видео с примерами использования A-Parser, а также следите за новостями в Twitter.

Предыдущие сборники статей

* Сборник статей #1: A-Parser для маркетологов, SEO-специалистов и реальный опыт работы
* Сборник статей #2: цикл статей-уроков по созданию JS парсеров
* Сборник статей #3: пагинация, переменные и БД SQLite
* Сборник статей #4: добавление товаров в OpenCart и парсинг JSON
* Сборник статей #5: собственный канал в Telegram и массовое добавление товаров в OpenCart
* Сборник статей #6: работа с API, сохранение в YML и мануал по подключению Node.js модулей
* Сборник статей #7: сохранение в xlsx, работа с API и обзор методов автоматизации
* Сборник статей #8: ссылки с GET параметрами, скачивание Google документов, очистка очереди через API


Рисунок
1.2.678 - оптимизация работы с прокси, улучшения во встроенных парсерах, исправления ошибок

Рисунок


Улучшения

* В Рисунок
SE::Google::ByImage
добавлена поддержка рекаптч, а также улучшена работа в целом
* В Рисунок
SE::Yandex добавлена возможность одновременной работы авторазгадывания каптч и антигейта
* В Рисунок
Rank::Ahrefs добавлена возможность выбора типа домена
* Полностью переписан Рисунок
SE::Yandex::SQI, изменен набор собираемых данных
* Реализован бан прокси в Рисунок
SE:: DuckDuckGo::Images
* В Рисунок
Net::Whois добавлен парсинг даты освобождения домена
* Оптимизирована работа с прокси при использовании большого числа попыток
* Улучшена работа функции Bypass Cloudflare
* Добавлен tools.aparser.version(), позволяющий получить информацию о версии A-Parser


Исправления в связи с изменениями в выдаче

* В мобильной верстке Рисунок
SE::Google::Modern исправлен парсинг новостей, а также исправлен парсинг ссылок и анкоров в desktop выдаче
* В Рисунок
SE::Yandex исправлено определение каптчи, а также исправлен сбор ссылок на кеш
* Исправлен парсинг цен и количества комментариев в Рисунок
Shop::Amazon
* Исправлена работа Рисунок
SE:: DuckDuckGo::Images с запросами, содержащими более 1 слова
* Рисунок
GooglePlay::Apps, Рисунок
SE::Youtube , Рисунок
Rank::Ahrefs


Исправления

* Исправлена проблема с рандомизацией прокси на Windows 10
* Исправлено зависание при использовании Рисунок
Check::BackLink
* Исправлена проблема, при которой не применялся Content-Type в Рисунок
Net::HTTP
* Исправлена редкая проблема с выбором файла запросов
* Исправлена обработка редиректов при нестандартном порте
* Исправлен вывод многострочных данных в tools.CSVline
* JS парсеры: исправлена проблема с интерфейсом при отсутствии необходимых Node.js модулей
* JS парсеры: исправлена проблема с подключением модуля jimp


Рисунок
Изменено: A-Parser Support - 12 Ноября 2019 15:23
Видео урок: Парсинг сайта в глубину на основе парсера HTML::LinkExtractor

В этом видео уроке рассмотрен способ создания пресета для анализа сайта в глубину.

Рисунок


В уроке рассмотрено:

* Парсинг в глубину (уровень) сайта относительно страницы запроса при помощи функции "Парсить до уровня"
* Получение title (с очисткой от HTML сущностей)
* Получение таких параметров как:
--- кол-во предыдущих редиректов
--- код ответа сервера
--- кол-во внешних ссылок

Полезные ссылки:

https://a-parser.com/resources/357/ - готовый пресет в Каталоге
https://a-parser.com/resources/356/ - подробное описание по созданию настроек для парсинга в глубину сайта
https://a-parser.com/wiki/advanced-options/#parse-all-results - документация по функции "Парсить до уровня"


Оставляйте комментарии и подписывайтесь на наш канал на YouTube!

Рисунок
Сборник рецептов #36: уникальность текста, парсер GitHub, посещаемость сайтов, результаты розыгрыша

36-й сборник рецептов, в котором опубликованы парсер для проверки текстов на уникальность, парсер GitHub и парсер для получения информации о посещаемости сайтов. А также список обновленных пресетов из нашего Каталога.

Но, в первую очередь хотим поделиться результатами розыгрыша, который был проведен в связи с Черной пятницей. Мы разыграли 5 лицензий на А-Парсер среди всех новых участников нашего telegram чата, которые присоединились к нему в период проведения акции. Результаты розыгрыша в видео:

Рисунок



А теперь перейдем непосредственно к сборнику.

Проверка текста на уникальность

Задача проверки текстов на уникальность является одной из самых частых для копирайтеров. Возможность осуществлять такую проверку предоставляют много ресурсов. И парсер для одного из таких сервисов опубликован по ссылке выше.

Рисунок


Парсер Github

Согласно Википедии, GitHub - это крупнейший веб-сервис для хостинга IT-проектов и их совместной разработки. Поэтому мы не могли обойти его стороной и публикуем парсер данных о репозиториях при поиске по ключевому слову на данном ресурсе.

Рисунок


Парсинг количества трафика на сайтах

Этот парсер позволяет получать информацию о просмотрах и посещениях страниц за день, месяц и год. В качестве источника данных используется один из известных сервисов.

Рисунок


Кроме этого были обновлены:

* Парсинг базы телефонов из olx.ua
* Парсинг Авито
* Парсинг телефонов и email фрилансеров fl.ru
* Проверка блокировки РосКомНадзора через GitHub
* JS::MailValidator


Еще больше различных рецептов в нашем Каталоге!
Предлагайте ваши идеи для новых парсеров здесь, лучшие будут реализованы и опубликованы.

Подписывайтесь на наш канал на Youtube - там регулярно выкладываются видео с примерами использования A-Parser, а также следите за новостями в Twitter.

Все сборники рецептов

Рисунок
Страницы: Пред. 1 2 3 4 5
Похожие темы:
Читают тему (гостей: 1, пользователей: 0, из них скрытых: 0)
Новые темыОбъявленияСвободное общение
16:55 Зарабатывай до 50% за сейл с партнерской программой EssayPro! 
16:45 TeaserNet - тизерная сеть нового поколения! Высокие доходы, стабильные выплаты 
16:10 AviTool - мощный инструмент для автоматизации работы с Avito 
14:45 Работает ли ссылочное продвижение 2019 – 2020? 
11:55 Добро пожаловать в Google Новости! 
11:29 ZennoPoster 
02:58 Что лучше выбрать для учета позиций 
15:30 Дедики по странам по штатам по городам 
15:22 Услуги постинга в социальные сети для продвижения, индексации и увеличения социальной активности 
15:05 Продам сайт "Советы старого фарцовщика" 
13:17 Впервые: VPN с индивидуальными тарифами 
13:17 ZennoPoster - софт №1 для автоматизации любых SEO задач! 
00:42 Как экономить на контекстной рекламе Яндекс Директ и Google Ads, кешбеки и бонусы 
23:44 Продам сайт. Идеи для бизнеса с пассивным доходом от 3.000 руб/мес РСЯ 
16:30 Заработать 50 рублей за один пост 
14:42 Accvk.ru - магазин самых надёжных аккаунтов вконтакте и других социальных сетей [без владельцев] 
14:38 Нужен софт (Спамер) 
21:15 Продвижение сайта через социальные сети 
16:18 Собираю сайты в рейтинг 
13:51 CPM.MONEY - Новая рекламная сеть Пуш-Уведомлений 
10:47 Как заработать в интернете в 2020 году