A-Parser 1.1 - продвинутый парсер поисковых систем, Suggest, PR, DMOZ, Whois, etc
Страницы: Пред. 1 ... 3 4 5 6 7
A-Parser 1.1 - продвинутый парсер поисковых систем, Suggest, PR, DMOZ, Whois, etc
1.2.948 - новые парсеры SecurityTrails IP и Domain, поддержка доменных прокси, множество исправлений

Рисунок


Улучшения
* Добавлен парсер Rank::MOZ.
Собираемые данные: вся информация, содержащаяся на странице.
* Добавлены парсеры SecurityTrails::Domain и SecurityTrails::IP.
Для работы парсеров необходимо указать пресет Util::ReCaptcha2.
- SecurityTrails::IP
В качестве запроса следует указывать ipv4 адрес.
Собирает домены по IP и информацию о них.
- SecurityTrails::Domain
В качестве запроса следует указывать домен, например a-parser.com.
Собираемые данные:
- Данные по DNS
- Список технологий, используемых на сайте (движки и проч.)
- Список открытых портов
- Alexa rank
- Страна
- Хостер
- Даты начала и окончания регистрации
- Whois статус
- Регистратор
- Список исторических данных по DNS
- Список субдоменов
* Добавлена возможность отключать валидацию TLS сертификатов.
* Добавлена поддержка доменных прокси.
Исправления в связи с изменениями в выдаче
* Исправлен парсинг новостей в SE::Google.
* Исправлен Social::Instagram::Profile.
* Исправления в SE::Yandex:
- исправлен парсинг турбо ссылок;
- исправлен парсинг новостных сниппетов.
* Исправления в SE::Google, SE::Baidu, SE::Yandex::Direct, Shop::Yandex::Market.
* Исправления в SE::Yahoo - ошибка в выборе стран, у которых одинаковый домен, восстановлен парсинг сниппетов.
Исправления
* Исправлена ошибка в алгоритме автовыбора домена в SE::Yandex.
* Исправлена работа Rank::MajesticSEO, SE::Bing::Translator.
* Исправлена ошибка, если файл config.txt был сохранен в кодировке utf-8 с BOM (парсер некорректно читал файл).
* Решена проблема с переопределениями опций в парсере HTML::LinkExtractor.
* NodeJS: новые установленные модули теперь доступны до перезагрузки A-Parser'a.
* Исправлено падение парсера при вызове метода getProxies.

Рисунок

Прогон по твиттеру, постинг в 1500 аккунтов
Постинг в твиттер аккаунты, для ускорения индексации ваших сайтов, сателлитов, дорвеев.

Сборник статей #12: скорость работы парсеров, debug режим и работа с куками

В 12-м сборнике статей рассказывается о принципах работы парсеров и факторах, влияющих на их скорость, показаны возможности debug режима в Тестовом парсинге по отладке запросов, а также на реальном примере разбирается работа с куками.

Скорость и принцип работы парсеров

В этой статье подробно рассказано об основном принципе работы парсеров и скорости их работы, а также рассмотрены основные факторы, влияющие на скорость парсинга.

Рисунок


Использование Debug режима

В этой статье рассказывается об одном из методов отладки парсеров, а также об анализе получаемых данных - debug режиме в Тестовом парсинге. С его помощью можно прямо в парсере анализировать и экспериментировать с заголовками и изучать приходящие в ответ данные.

Рисунок


Работа с куками и заголовками на примере соглашения с правилами сайта auto.ru

А в этой статье на реальном примере показана работа с куками сайта: рассказано как определять необходимость передавать куки и как искать только необходимые для запроса куки. При этом показаны два варианта: простые запросы средствами А-Парсера и использование NodeJS модуля puppeteer.

Рисунок


Если вы хотите, чтобы мы более подробно раскрыли какой-то функционал парсера, у вас есть идеи для новых статей или вы желаете поделиться собственным опытом использования A-Parser (за небольшие плюшки smile:) ) - отписывайтесь здесь.

Подписывайтесь на наш канал на Youtube - там регулярно выкладываются видео с примерами использования A-Parser, а также следите за новостями в Twitter.

Все сборники статей

Рисунок
Видео урок: просмотр результатов парсинга, настройка прокси с авторизацией, опция Extra query string

В этом видео уроке рассмотрены ответы на 3 часто задаваемых вопроса от новых пользователей А-Парсера

Загрузка плеера


1. Где и как можно посмотреть результаты парсинга?
2. Как подключить прокси с авторизацией?
3. Extra query string, что это такое и как применять эту опцию?

В уроке рассмотрено:
* Просмотр результатов парсинга 3-мя способами:
- Способ первый. "Из очереди заданий, если задание на паузе".
- Способ второй. "Из очереди заданий, если задание завершено".
- Способ третий. "Забираем результат из папки results".
* Подключение прокси с авторизацией.
* Примеры использования опции Extra query string.
Полезные ссылки:
* https://a-parser.com/resources/categories/14/ - сохранение результатов (каталог)
* https://a-parser.com/resources/77/ - Сохранение результатов нескольких парсеров в разные папки
* https://a-parser.com/resources/394/ - Сохранение результатов в несколько файлов используя переменные, массивы и условия (видео)
* https://a-parser.com/resources/397/ - Сохранение результатов в Google SpreadSheets
* https://a-parser.com/wiki/proxy/ - Настройка прокси
* https://a-parser.com/wiki/settings-and-presets/ - Общие настройки для парсеров

Оставляйте комментарии и подписывайтесь на наш канал на YouTube!

Рисунок
Изменено: A-Parser Support - 9 Сентября 2020 16:42
Сборник рецептов #43: освобождающиеся домены, категории сайтов и парсинг PDF

43-й сборник рецептов, в который вошли пресет для парсинга освобождающихся доменов, парсер категорий сайтов и пример сбора данных из PDF документов.

Аукцион доменов REG.RU
Пресет, позволяющий парсить домены с аукциона Reg.ru. В пресете реализована возможность указывать количество страниц пагинации и использовать фильтр по ключевому слову.
Рисунок


Определение категорий сайта
Парсер, собирающий категории сайтов из MegaIndex.
Рисунок


Парсинг PDF
Пример парсинга данных из документов в формате PDF. Для работы используется Node.js модуль pdf-parse.
Рисунок


Кроме этого:
* Парсер ссылок локаций для Social::Instagram::Geo - сбор ссылок на локации в Instagram
Еще больше различных рецептов в нашем Каталоге!
Предлагайте ваши идеи для новых парсеров здесь, лучшие будут реализованы и опубликованы.

Подписывайтесь на наш канал на Youtube - там регулярно выкладываются видео с примерами использования A-Parser, а также следите за новостями в Twitter.

Все сборники рецептов

Рисунок
Страницы: Пред. 1 ... 3 4 5 6 7
Похожие темы:
Читают тему (гостей: 1, пользователей: 0, из них скрытых: 0)
Новые темыОбъявленияСвободное общение
05:39 Наблюдаю за одним сайтом, что скажите? 
21:15 Berileads.ru - финансовая партнерская программа. 
13:09 Какие сайты любит google? 
12:02 Что продвигать в ТОП Яндекса с помощью накрутки ПФ? 
18:14 ИКС 24 сентября 2020 АПдейт | Яндекс ИКС 24.09.2020 
17:03 25 сентября 2020 Степень изменения выдачи: 11.4% | Яндекс выдача 
15:13 Adtrafico - Правильная партнёрская сеть под бурж трафик 
20:34 Самые актуальные и выгодные промокоды Яндекс Директ (Yandex Direct) по низким ценам! 
20:33 Магазин купонов и аккаунтов Google Adwords и яндекс директ 
13:26 Размещу ссылки/статьи на ваш сайт 
23:09 Мобильные скоростные прокси 4G 
21:37 Качественный современный дизайн сайтов, логотипов, печатной продукции. Верстка HTML5/CSS3/JS. 
15:21 Продвину сайт качественными ссылками. Рост посещаемости, позиций и ИКС. Крауд ссылки недорого + скидки. 
15:02 В Dieser_ads Только эффективная реклама! – И только целевая аудитория! 
18:06 Хотела сначала на Авито 
18:03 сейчас дороже, чем нефть и все сокровища мира 
11:48 7 летний мальчик за год заработал 12 миллионов рублей 
03:48 Leadgid — международная финансовая партнерская CPA сеть 
18:11 [b]Webvork [/b]- международная товарная СРА сеть с сертифицированными офферами на Европу. 
17:19 Улучшение ПФ 
17:19 Хочу обратиться к господам лохотронщикам