A-Parser 1.1 - продвинутый парсер поисковых систем, Suggest, PR, DMOZ, Whois, etc
Страницы: Пред. 1 ... 3 4 5 6 7
A-Parser 1.1 - продвинутый парсер поисковых систем, Suggest, PR, DMOZ, Whois, etc
1.2.948 - новые парсеры SecurityTrails IP и Domain, поддержка доменных прокси, множество исправлений

Рисунок


Улучшения
* Добавлен парсер Rank::MOZ.
Собираемые данные: вся информация, содержащаяся на странице.
* Добавлены парсеры SecurityTrails::Domain и SecurityTrails::IP.
Для работы парсеров необходимо указать пресет Util::ReCaptcha2.
- SecurityTrails::IP
В качестве запроса следует указывать ipv4 адрес.
Собирает домены по IP и информацию о них.
- SecurityTrails::Domain
В качестве запроса следует указывать домен, например a-parser.com.
Собираемые данные:
- Данные по DNS
- Список технологий, используемых на сайте (движки и проч.)
- Список открытых портов
- Alexa rank
- Страна
- Хостер
- Даты начала и окончания регистрации
- Whois статус
- Регистратор
- Список исторических данных по DNS
- Список субдоменов
* Добавлена возможность отключать валидацию TLS сертификатов.
* Добавлена поддержка доменных прокси.
Исправления в связи с изменениями в выдаче
* Исправлен парсинг новостей в SE::Google.
* Исправлен Social::Instagram::Profile.
* Исправления в SE::Yandex:
- исправлен парсинг турбо ссылок;
- исправлен парсинг новостных сниппетов.
* Исправления в SE::Google, SE::Baidu, SE::Yandex::Direct, Shop::Yandex::Market.
* Исправления в SE::Yahoo - ошибка в выборе стран, у которых одинаковый домен, восстановлен парсинг сниппетов.
Исправления
* Исправлена ошибка в алгоритме автовыбора домена в SE::Yandex.
* Исправлена работа Rank::MajesticSEO, SE::Bing::Translator.
* Исправлена ошибка, если файл config.txt был сохранен в кодировке utf-8 с BOM (парсер некорректно читал файл).
* Решена проблема с переопределениями опций в парсере HTML::LinkExtractor.
* NodeJS: новые установленные модули теперь доступны до перезагрузки A-Parser'a.
* Исправлено падение парсера при вызове метода getProxies.

Рисунок

Прогон по твиттеру, постинг в 1500 аккунтов
Постинг в твиттер аккаунты, для ускорения индексации ваших сайтов, сателлитов, дорвеев.

Сборник статей #12: скорость работы парсеров, debug режим и работа с куками

В 12-м сборнике статей рассказывается о принципах работы парсеров и факторах, влияющих на их скорость, показаны возможности debug режима в Тестовом парсинге по отладке запросов, а также на реальном примере разбирается работа с куками.

Скорость и принцип работы парсеров

В этой статье подробно рассказано об основном принципе работы парсеров и скорости их работы, а также рассмотрены основные факторы, влияющие на скорость парсинга.

Рисунок


Использование Debug режима

В этой статье рассказывается об одном из методов отладки парсеров, а также об анализе получаемых данных - debug режиме в Тестовом парсинге. С его помощью можно прямо в парсере анализировать и экспериментировать с заголовками и изучать приходящие в ответ данные.

Рисунок


Работа с куками и заголовками на примере соглашения с правилами сайта auto.ru

А в этой статье на реальном примере показана работа с куками сайта: рассказано как определять необходимость передавать куки и как искать только необходимые для запроса куки. При этом показаны два варианта: простые запросы средствами А-Парсера и использование NodeJS модуля puppeteer.

Рисунок


Если вы хотите, чтобы мы более подробно раскрыли какой-то функционал парсера, у вас есть идеи для новых статей или вы желаете поделиться собственным опытом использования A-Parser (за небольшие плюшки smile:) ) - отписывайтесь здесь.

Подписывайтесь на наш канал на Youtube - там регулярно выкладываются видео с примерами использования A-Parser, а также следите за новостями в Twitter.

Все сборники статей

Рисунок
Видео урок: просмотр результатов парсинга, настройка прокси с авторизацией, опция Extra query string

В этом видео уроке рассмотрены ответы на 3 часто задаваемых вопроса от новых пользователей А-Парсера

Загрузка плеера


1. Где и как можно посмотреть результаты парсинга?
2. Как подключить прокси с авторизацией?
3. Extra query string, что это такое и как применять эту опцию?

В уроке рассмотрено:
* Просмотр результатов парсинга 3-мя способами:
- Способ первый. "Из очереди заданий, если задание на паузе".
- Способ второй. "Из очереди заданий, если задание завершено".
- Способ третий. "Забираем результат из папки results".
* Подключение прокси с авторизацией.
* Примеры использования опции Extra query string.
Полезные ссылки:
* https://a-parser.com/resources/categories/14/ - сохранение результатов (каталог)
* https://a-parser.com/resources/77/ - Сохранение результатов нескольких парсеров в разные папки
* https://a-parser.com/resources/394/ - Сохранение результатов в несколько файлов используя переменные, массивы и условия (видео)
* https://a-parser.com/resources/397/ - Сохранение результатов в Google SpreadSheets
* https://a-parser.com/wiki/proxy/ - Настройка прокси
* https://a-parser.com/wiki/settings-and-presets/ - Общие настройки для парсеров

Оставляйте комментарии и подписывайтесь на наш канал на YouTube!

Рисунок
Изменено: A-Parser Support - 9 Сентября 2020 16:42
Сборник рецептов #43: освобождающиеся домены, категории сайтов и парсинг PDF

43-й сборник рецептов, в который вошли пресет для парсинга освобождающихся доменов, парсер категорий сайтов и пример сбора данных из PDF документов.

Аукцион доменов REG.RU
Пресет, позволяющий парсить домены с аукциона Reg.ru. В пресете реализована возможность указывать количество страниц пагинации и использовать фильтр по ключевому слову.
Рисунок


Определение категорий сайта
Парсер, собирающий категории сайтов из MegaIndex.
Рисунок


Парсинг PDF
Пример парсинга данных из документов в формате PDF. Для работы используется Node.js модуль pdf-parse.
Рисунок


Кроме этого:
* Парсер ссылок локаций для Social::Instagram::Geo - сбор ссылок на локации в Instagram
Еще больше различных рецептов в нашем Каталоге!
Предлагайте ваши идеи для новых парсеров здесь, лучшие будут реализованы и опубликованы.

Подписывайтесь на наш канал на Youtube - там регулярно выкладываются видео с примерами использования A-Parser, а также следите за новостями в Twitter.

Все сборники рецептов

Рисунок
Сборник рецептов #44: категории сайтов от Cloudflare Radar, парсер Rozetka и kufar.by

44-й сборник рецептов, в который вошли парсер, определяющий категории сайтов (используя сервис Cloudflare Radar), парсер Rozetka через API и парсер интернет-магазина kufar.by с проходом по списку результатов.

Парсер Cloudflare Radar

Парсер для сбора категорий сайтов из Cloudflare Radar

Рисунок


Rozetka - получение данных по API

Парсер, собирающий данные о товарах на торговой площадке Rozetka через API.

Рисунок


Парсинг объявлений kufar.by

Парсер объявлений на сайте kufar.by с проходом по списку результатов. Собираются заголовки объявлений, цены, имена и телефоны авторов.

Рисунок


А также, обновлены следующие ресурсы:
* Парсинг комментариев из Youtube
* Парсер собирающий вопросы и ответы из выдачи Google

Еще больше различных рецептов в нашем Каталоге!
Предлагайте ваши идеи для новых парсеров здесь, лучшие будут реализованы и опубликованы.

Подписывайтесь на наш канал на Youtube - там регулярно выкладываются видео с примерами использования A-Parser, а также следите за новостями в Twitter.

Все сборники рецептов

Рисунок
Страницы: Пред. 1 ... 3 4 5 6 7
Похожие темы:
Читают тему (гостей: 1, пользователей: 0, из них скрытых: 0)
Новые темыОбъявленияСвободное общение
16:02 Заметил новую фишку с ИКС Яндекса! 
15:20 Санкции за смену тайтла главной страницы? 
10:24 Живые в одноклассники 
07:58 Наставление начинающим свой путь заработка с помощью Яндекс.Дзен 
20:43 ИКС 23 октября 2020 АПдейт | Яндекс ИКС 23.10.2020 
19:50 AntiBot Cloud - бесплатный скрипт и сервис защиты сайтов 
19:12 Как в WP сделать показ записей 
14:58 Продаю лицензию на CMS интернет-магазина от cs-cart 
14:46 Топовые СМИ по низким ценам v3.0 
14:08 Imperial.company - Быстрый обмен криптовалюты. 
01:17 Stream-promotion.ru - Накрутка зрителей, лайков, подписчиков на YT I Twitch I Instagram Tik Tok 
23:16 Программа для рассылки на юле - Youla Master 
23:13 Дешевые просмотры YouTube с гарантией, лайки, подписчики Instagram, ВК, Facebook, ОK, Twitter - SmmPanele.Ru 
18:16 Продажа сетки сайтов 
17:44 НУЖНА ПОМОЩЬ 
17:04 Тинькофф Банк и 10% по остатку на счёте, которая больше чем в два раза выше ключевой ставки ЦБ 
15:22 Самые любимые 3 футболиста 
15:12 Будете вакцинироваться? | Названы сроки начала массовой вакцинации россиян 
12:15 Коронавирус в подарок? 
20:14 Магазин статей, текстов, видео, фото и др. 
18:08 Leadgid — международная финансовая партнерская CPA сеть