A-Parser 1.1 - продвинутый парсер поисковых систем, Suggest, PR, DMOZ, Whois, etc
Страницы: 1 2 3 4 5 ... 13 След.
A-Parser 1.1 - продвинутый парсер поисковых систем, Suggest, PR, DMOZ, Whois, etc
A-Parser - многопоточный парсер поисковых систем, сервисов оценки сайтов, ключевых слов, контента(текст, ссылки, произвольные данные) и других различных сервисов(youtube, картинки, переводчик...), всего A-Parser содержит более 50 парсеров ( http://a-parser.com/wiki/parsers/ )

Рисунок


A-Parser полностью решает рутинные задачи по получению, обработки и систематизации данных, необходимых для работы в следующих областях:
SEO-оптимизация сайтов и Web-аналитика
•Сбор баз ссылок для XRumer, A-Poster, AllSubmitter, ZennoPoster...
•Оценка сайтов и доменов по множеству параметров
•Мониторинг позиции любых сайтов в поисковых системах
•Сбор контента(текст, картинки, ролики) для генерации сайтов(дорвеев)
•Отслеживание обратных ссылок
•Сбор произвольной информации с любых сайтов(например телефоны/e-mails, сообщения с форумов, объявления...)
•Сбор и оценка ключевых слов
•Сбор списка обратных ссылок
•И многое другое
Web-безопасность
•Сбор и фильтрация баз ссылок по признакам
•Определение CMS сайтов
•Формирование произвольных GET, POST запросов с одновременной фильтрацией ответа
Сетевое администрирование
•Работа с DNS службой - резолвинг доменов в IP адреса
•Работа с Whois - дата регистрации и окончания регистрации доменов, name-cервера


A-Parser обладает следующими преимуществами:

Колоссальная производительность

•Многопоточность - парсер способен распараллеливать сетевые операции до 5000-10000 потоков в зависимости от конфигурации компьютера и решаемой задачи
•Продуманная внутренняя архитектура, в которую заложена производительность и расширяемость
•Множественные оптимизации сложных операций
•Парсер не требователен к ресурсам, может работать как на компьютере, так и на VDS или сервере, на операционных системах Windows, Linux или FreeBSD

Промышленные масштабы

•Парсер разрабатывался с учетом работы с неограниченным размером данных
•Способен обрабатывать сотни миллионов и миллиардов запросов
•Размеры файлов запросов и результатов ничем не ограничены и могут достигать терабайтных значений

Автономность

•A-Parser рассчитан на бесперебойную и беспрерывную работу без участия пользователя
•Очередь заданий позволяет нагрузить парсер работой на недели и месяцы вперед
•Одновременное выполнение нескольких разных задач для скорейшего получения результатов

Поддержка более 50 парсеров

Парсеры поисковых систем: Google, Yandex, AOL, Bing, Baidu, DuckDuckGo, QIP, Yahoo, YouTube
Парсеры подсказок поисковых систем: Google, Yandex, Bing, Yahoo
Парсеры и анализ ключевых слов: кейворды и частотность по Yandex.WordStat, в т.ч. по датам и регионам; частотность по Yandex.Direct; Google Trends
Регистрация аккаунтов: Yandex
Парсеры параметров сайтов и доменов: позиции в поисковых системах Google, Yandex, QIP; PageRank, TrustRank, Compromised, SafeBrowsing, LangDetect, LangDetect через Bing, тИЦ, Whois, DNS, CMS, Ahrefs, Alexa, Category, DMOZ, Linkpad, MajesticSEO, OpenSiteExplorer, SEMrush
Парсеры различных сервисов: Bing Translator, Google Images, Bing Images, Google Maps, Yandex Catalog, Yandex.Direct, AntiGate
Парсеры контента: TextExtractor, LinkExtractor, TextExtractor LangDetect, BackLink, HTTP парсер для создания произвольных парсеров

Создание собственных парсеров

•Использование регулярных выражений
•Поддержка многостраничного парсинга
•Проверка контента и наличия следующей страницы

Мощные инструменты для формирования запросов и результатов

•Конструктор запросов и результатов - позволяет видоизменять данные(поиск и замена, выделение домена из ссылки, преобразования по регулярным выражениям...)
•Подстановки для запросов: из файла; перебор слов, символов и цифр
•Фильтрация результатов - по вхождению подстроки, равенству, больше\меньше
•Уникализация результатов - по строке, по домену, по главному домену(A-Parser знает все домены верхнего уровня, в т.ч. такие как co.uk, msk.ru)
•Мощный шаблонизатор результатов на основе Template Toolkit - позволяет выводить результаты в любом удобном виде(текстом, csv, html, xml, произвольный формат)

Гибкость настроек

•В парсере используется система пресетов - для каждого парсера можно создать множество предустановленных настроек для различных ситуаций
•Настроить можно все - никаких рамок и ограничений
•Экспорт и импорт настроек позволяет легко обмениваться опытом с другими пользователями

Сетевые возможности

•Поддержка HTTP/1.1 и HTTPS
•Поддержка HTTP и SOCKS5 прокси, в т.ч. с авторизацией
•Полностью асинхронная работа с сетью, в т.ч. с DNS

API

•Возможность интегрировать и управлять парсером из своих программ и скриптов
•Полная автоматизация бизнес-процессов
•Клиенты для PHP, Perl и Python

Постоянные улучшения и исправления

•Разработка парсера началась в 2011 году, а первый релиз вышел зимой 2012 года
•С тех пор было выпущено более 70 новых версий, включающих множество улучшений и исправлений
•A-Parser не останавливается в развитии, идет активная разработка, будет реализовано множество новых функций, в т.ч. по запросам от пользователей

Техническая поддержка

•Мы прилагаем все усилия по поддержке пользователей и ответам на все возникающие вопросы
•Создана подробная документация по A-Parser'у, открыт форум для пользователей
•Специалист технической поддержки готов ответить любым удобным способом: ICQ, Skype, Jabber, GoogleTalk, e-mail и через форму онлайн связи на сайте
•Разработчик A-Parser'а готов ответить на любые сложные и технические вопросы, также открыт к обсуждению улучшений и дополнений для парсера



Более подробно ознакомится с возможностями парсера можно в полноценной документации ( http://a-parser.com/wiki/index/ )

A-Parser предоставляется в трех версиях, сравнительная таблица и стоимость лицензий:

Рисунок


Мы принимаем к оплате в автоматическом режиме все популярные платежные системы, такие как WebMoney, PayPal, Visa, MasterCard, Paxum, Яндекс.Деньги, QIWI, PerfectMoney, банковские переводы, терминалы оплаты и многое другое.
Для приобретения лицензии необходимо зарегистрироваться на сайте a-parser.com и перейти на страницу оплаты ( http://a-parser.com/pages/buy/ ).
Если у вас возникли вопросы - обращайтесь по любым контактам в техническую поддержку ( http://a-parser.com/pages/support/ )
Изменено: Prapovednik - 21 Августа 2019 01:35 (поправил ссылки)
A-Parser - 1.1.177 - Новый модуль SEO::Ping и парсер Rank::Mustat, улучшения в интерфейсе

Улучшения

•Новый модуль SEO:: Ping - массовая отправка Ping запросов в сервисы поддерживающие Weblog API(Google Blog Search, Feed Burner, Ping-o-Matic и т.п.)
•Новый парсер Rank::Mustat - оценка трафика на сайте, также стоимость и рейтинг домена
•Для парсера Net::Whois добавлена возможность вручную указать адрес whois-сервера
•В поле Additional headers парсера Net::HTTP теперь возможно использовать переменные из конструктора запросов
•Добавлена опция позволяющая перезаписывать файл результата
•Добавлена возможность поиска пресета задания по названию
•Автоматическая прокрутка к выбранному элементу во всех списках в интерфейсе парсера
•В очереди заданий теперь отображаются названия пресетов


Исправления

•Парсер Rank::Ahrefs исправлен в связи с изменением в выдачи
•Исправлен вывод Raw results для парсера Net::Whois
•Исправлен вывод порядкового номера запроса $query.num
•Исправлена работа метода API bulkRequest

a-parser.com/threads/1436/
Демо версия A-Parser

Рады представить онлайн демо версию A-Parser ( http://a-parser.com/pages/demo/ ), в которой можно ознакомиться со всеми возможностями перед покупкой парсера или перед переходом на новую версию

Демо версия предоставляет доступ к A-Parser установленному на нашем сервере, период тестирования - 6 часов, по истечению этого времени все настройки автоматически будут сброшены

Ограничения демо версии:

• Результаты парсинга не доступны для загрузки
• Максимальное число потоков - 100
• Парсинг возможен только с использованием прокси
Изменено: A-Parser Support - 6 Марта 2015 07:32
A-Parser - 1.1.626 - парсер Яндекс картинок, поддержка каптчи при логине в Яндекс, удаление нерабочих аккаунтов

Рисунок


В версии 1.1.626 добавлена поддержка каптчи при логине в Яндекс аккаунт в парсерах SE::Yandex, SE::Yandex::WordStat и SE::Yandex: Direct::Frequency:

Рисунок


Также для этих парсеров добавлена настройка Remove bad accounts, которая автоматически удаляет аккаунты с неверным логин/паролем или требующие подтверждения по телефону. Опция включена по умолчанию

Добавлен новый парсер картинок SE::Yandex::Images, поддерживает все фильтры(размер, ориентация, тип, цвет, тип файла...). Как известно Яндекс отлично индексирует все картинки для взрослых - отличный способ набрать контента для своих доров/тюбов. В дополнении есть возможность выставить безопасный поиск

Рисунок


Парсер Яндекс картинок также поддерживает работу с антигейтом(anti-captcha, rucaptcha, CapMonster - любой сервис с поддержкой API антигейта)

Исправления в связи с изменениями в выдачи

SE: DuckDuckGo
Изменено: A-Parser Support - 5 Сентября 2016 15:13
A-Parser - 1.1.652 - динамический лимит потоков, поддержка цифровой каптчи для Google

Рисунок


В версии 1.1.652 добавлена поддержка динамического лимита потоков, позволяющая распределить лимит между всеми запущенными заданиями, тем самым увеличивается общая скорость выполнения заданий в очереди

Помимо этого парсер SE::Google теперь поддерживает работу с цифровыми каптчами, а сервис Cheap-Captcha предоставил пользователям A-Parser уникальную скидку: всего 25 центов за 1000 распознанных каптч

Улучшения

• Теперь A-Parser пропускает пустые запросы, это улучшение расширяет логику обработки запросов
• В парсере Net::HTTP не передаются пустые хедеры
• В парсере SE::Yandex::WordStat теперь корректно определяются аккаунты с заблокированной функцией парсинга вордстата

Исправления в связи с изменениями в выдачи

• SE::Yandex, SE::AOL

Исправления

• В парсере SE::Yandex::WordStat исправлена работа при редиректе на региональный домен, а также исправлена работа с устаревшими сессиями
• Net::Whois не корректно работал с зоной .tr
• В парсере SE::Google невозможно было получить исходник страницы($data) при использовании антигейта
• В парсере SE::Yandex не сохранились сессии при использовании аккаунтов
Изменено: A-Parser Support - 28 Сентября 2016 08:00
Новые видео уроки: от покупки до настройки и запуска задания (a-parser.com/threads/2745/)

Смотрите новые видео уроки от Дениса Бартаева, подписывайтесь на наш канал! (https://www.youtube.com/channel/UCvypGICrfCky8tPtebmIvQw)

A-Parser: обзор личного кабинета и процесса оплаты

Рисунок



A-Parser: установка, запуск и обновление

Рисунок


A-Parser: настройка, добавление прокси, запуск задания


Рисунок


Оставляйте в комментариях пожелания для будущих видео!
Изменено: A-Parser Support - 13 Октября 2016 15:13
Сборник рецептов #16: парсинг OpenSiteExplorer с авторизацией, Яндекс.Каталога и Яндекс.Новостей(a-parser.com/threads/2808/)

16-й выпуск Сборника рецептов. В нем мы научимся парсить OpenSiteExplorer с авторизацией, попробуем забирать все сайты из Яндекс.Каталога и сделаем парсер Яндекс.Новостей. Поехали!

Парсинг OpenSiteExplorer (MOZ) с авторизацией(a-parser.com/threads/2802/)
С помощью рассмотренного в статье способа, можно парсить OSE с авторизацией, что в свою очередь позволяет обходить ограничение на 10 запросов с одного IP в сутки. Плюс ко всему, значительно расширен набор возвращаемых параметров по сравнению со стандартным парсером. Кроме этого, можно совсем не использовать прокси, что дает значительный прирост в скорости! Сам пресет и описание - по ссылке выше.



Парсинг всех сайтов из указанной категории Я.Каталога(a-parser.com/threads/2768/)
Многие пользователи A-Parser неоднократно спрашивали о возможности спарсить все сайты из Яндекс.Каталога. Поэтому мы публикуем сам пресет и подробное описание процесса его создания и работы. Все это - по ссылке выше.



Как парсить Яндекс.Новости?(a-parser.com/threads/2777/#post-9147)
В А-Парсере в стандартном парсере Google можно парсить новости. А вот для Яндекса на данный момент нету такой возможности. Но решается это довольно просто. Как именно - читайте по ссылке выше. Плюс бонусом небольшой пресет для парсинга подсказок из Я.Новостей - еще один способ парсить ключевые слова smile:)



Кроме этого:

• Проверка вхождения ключа в анкор(a-parser.com/threads/2796/#post-9233)

• Обновлен пресет для парсинга пользователей по тегу из Instagram(a-parser.com/threads/1948/#post-9258)


Еще больше различных рецептов в нашем Каталоге примеров(a-parser.com/threads/1738/)!

Подписывайтесь на наш канал на Youtube(https://www.youtube.com/channel/UCvypGICrfCky8tPtebmIvQw) - там регулярно выкладываются видео с примерами использования A-Parser, а также следите за новостями в [URL=https://twitter.com/a_parser]Twitter[/URL].

• Сборник рецептов #1: Определяем CMS, оцениваем частотность ключевых слов и парсим Вконтакте(a-parser.com/threads/1250/)
• Сборник рецептов #2: собираем форумы для XRumer, парсим email со страниц контактов(a-parser.com/threads/1328/)
• Сборник рецептов #3: мобильные сайты, несколько парсеров, позиции ключевых слов(a-parser.com/threads/1660/)
• Сборник рецептов #4: поиск в выдаче, парсинг интернет-магазина и скачиваем файлы(a-parser.com/threads/1674/)
• Сборник рецептов #5: ссылки из JS, паблик прокси и карта сайта(a-parser.com/threads/1705/)
• Сборник рецептов #6: парсим базу номеров телефонов и сохраняем результаты красиво(a-parser.com/threads/1737/)
• Сборник рецептов #7: парсим RSS, качаем картинки и фильтруем результат по заголовкам(a-parser.com/threads/1778/)
• Сборник рецептов #8: парсим 2GIS, Google translate и подсказки Youtube(a-parser.com/threads/1809/)
• Сборник рецептов #9: проверяем сезонность ключевых слов и их полезность(a-parser.com/threads/1830/)
• Сборник рецептов #10: пишем кастомный парсер поисковика и парсим дерево категорий(a-parser.com/threads/1881/)
• Сборник рецептов #11: парсим Авито, работаем с JavaScript, анализируем тексты и участвуем в акции!(a-parser.com/threads/1938/)
• Сборник рецептов #12: парсим Instagram, собираем статистику и делаем свои парсеры подсказок(a-parser.com/threads/2240/)
• Сборник рецептов #13: сохраняем результат в файл дампа SQL и знакомимся с $tools.query(a-parser.com/threads/2460/)
• Сборник рецептов #14: используем XPath, анализируем сайты и создаем комбинированные пресеты(a-parser.com/threads/2613/)
• Сборник рецептов #15: анализируем скорость и юзабилити сайтов, парсим Яндекс.Картинки и Baidu(a-parser.com/threads/2712/)
Изменено: A-Parser Support - 7 Ноября 2016 13:22
1.2.84 - поддержка сессий в JS парсерах, улучшение SE::Google::Modern, правки в интерфейсе
Рисунок

Улучшения
• Добавлена поддержка сессий в JavaScript парсерах
• В SE::Google::Modern добавлена поддержка сессий и улучшена производительность за счет уменьшения частоты появления каптч/рекаптч
• Добавлена переменная $query.prev - показывает запрос, который использовался на предыдущем уровне
• Для JS парсеров добавлен метод this.logger.putHTML, который позволяет вывести в лог HTML код
• В Lite версию добавлен SE::Google::Modern и Util::ReCaptcha2
• В x86 версиях добавлено предложение перейти на x64
• Добавлена возможность переименовывания пресетов
• В окне выбора пресета для папок реализована "память на сворачивание"
• Изменены иконки для JS парсеров
• Исправлены ошибки с переводом в интерфейсе
• Исправлено отображение HTML тегов в логах
• Исправлен баг при импорте с вложенным парсером
• Исправлен баг с прокруткой при сохранении JS парсеров и пресетов
• Доработан Конструктор регулярных выражений
• Оптимизировано потребление памяти
• Другие мелкие правки в интерфейсе, направленные на улучшение общей работы

Исправления в связи с изменениями в выдаче
• В SE::Google::Modern исправлен парсинг сниппетов и рекламы, а также мобильной выдачи
• Исправлена работа SE::Yandex
• В SE::Google::Suggest исправлен парсинг подсказок, а также добавлена опция Remove HTML tags, позволяющая получать подсказки с или без html тегов
• Исправлен парсинг анкоров и сниппетов в SE::DuckDuckGo
• Исправлена работа SE::IxQuick при длинных запросах
SE::Ask, SE::Dogpile, Rank::Mustat

Исправления
• Исправлен баг с перемещением заданий в очереди
• В SE::Google::Modern исправлен баг с кодировкой
• Исправлена работа параметров Request delay и Extra query string во всех JS парсерах
• Исправлен выбор файлов запросов
• Исправлено отображение иконок для JS парсеров
• Исправлена работа SE::Bing::AddURL в некоторых случаях
Изменено: A-Parser Support - 24 Января 2018 18:24
Видео урок: Создание JS парсеров. Получение результатов от стандартного парсера (https://a-parser.com/threads/4208/)

Это видео начинает цикл уроков по созданию JavaScript парсеров. Здесь рассказано о том, как начать писать собственные парсеры, используя функционал JS парсеров в А-Парсере.

Видео на ютюб (https://www.youtube.com/watch?v=GVBH9oM2VSc)

В уроке рассмотрено:
* Создание кастомного JS парсера
* Использование встроенного парсера внутри JS парсера
* Парсинг выдачи поисковой системы с фильтрацией результатов по заданному условию
Полезные ссылки:
https://learn.javascript.ru/generator
https://developer.mozilla.org/ru/docs/Web/JavaScript/Guide/Iterators_and_Generators
https://developer.mozilla.org/ru/docs/Web/JavaScript/Reference/Operators/yield
Статья и готовый парсер: https://a-parser.com/resources/254/

Оставляйте комментарии и подписывайтесь на наш канал на YouTube! (https://www.youtube.com/c/AParser_channel)
Изменено: A-Parser Support - 13 Февраля 2018 12:11
Видео урок: Создание JS парсеров. Парсинг сайта с проходом по страницах

Второе видео в цикле уроков по созданию JavaScript парсеров. Здесь рассказано о том, как написать несложный парсер сайта, который будет "листать" страницы, используя функционал JS парсеров в А-Парсере.
Видео на youtube (https://www.youtube.com/watch?v=2-tASbijWiQ)

В уроке рассмотрено:
* Создание кастомного JavaScript парсера без использования встроенных парсеров
*Парсинг контента сайта постранично с использованием регулярных выражений
*Реализация прохода по страницам ("пагинации" ) в JS парсере

Статья и готовый парсер:https://a-parser.com/resources/255/

Оставляйте комментарии и подписывайтесь на наш канал на YouTube! (https://www.youtube.com/c/AParser_channel)
Изменено: A-Parser Support - 13 Февраля 2018 12:22
[url=https://a-parser.com/threads/4269/][b]1.2.138 - поддержка Node.js модулей, обработка ReCaptcha2 во всех парсерах Google, парсер AliExpress[/b][/url]

[b][img]https://files.a-parser.com/img/logo1_2_138_plus_npm.png[/img][/b]

В A-Parser [b]1.2.138[/b] [url=https://a-parser.com/threads/3120/]добавлена[/url] эмуляция [b][url=https://nodejs.org/]node[/url][/b] версии 8.9.x с поддержкой загрузки модулей и частичной реализацией [b]fs[/b] и [b]net [/b]модулей. Это дает возможность обращаться из JavaScript парсеров напрямую к файловой системе, а также использовать подключение по TCP из модулей к другим сервисам(например mysql, redis, chrome...).

Все это позволило загружать и использовать node модули из каталога [url=https://www.npmjs.com]npm[/url], в котором собраны множество полезных библиотек для обработки данных, коннекторы к базам данных и множество других интересных вещей. На данный момент протестированы следующие модули: md5, async-redis, jsdom, puppeter.
[b]Улучшения[/b]
[list]
[*]Добавлена поддержка Node.js модулей в JavaScript парсерах
[*][img]https://a-parser.com/img/parsers/se-google-position.png[/img] [url=https://a-parser.com/wiki/se-google-position/]SE::Google:: Position[/url], [img]https://a-parser.com/img/parsers/se-google-compromised.png[/img] [url=https://a-parser.com/wiki/se-google-compromised/]SE::Google::Compromised[/url] и [img]https://a-parser.com/img/parsers/se-google-trustcheck.png[/img] [url=https://a-parser.com/wiki/se-google-trustcheck/]SE::Google::TrustCheck[/url] полностью переписаны, добавлена поддержка ReCaptcha2
[*]Улучшена работы [img]https://a-parser.com/img/parsers/se-google.png[/img] [url=https://a-parser.com/wiki/se-google-modern/]SE::Google::Modern[/url] в целом
[*]В [img]https://a-parser.com/img/parsers/se-youtube.png[/img] [url=https://a-parser.com/wiki/se-youtube/]SE::Youtube[/url] добавлен выбор языка, а также реализована возможность включать/отключать Безопасный режим
[*]Добавлен [img]https://a-parser.com/img/parsers/shop-aliexpress.png[/img] [url=https://a-parser.com/wiki/shop-aliexpress/]Shop::AliExpress[/url]
[*]Улучшена проверка создаваемых переменных в пресетах
[*]Улучшена работа сессий
[*]Исправлено отображение имени файла запроса на карточке задания
[*]Улучшена работа скрола в Тестовом парсинге
[*]Добавлено удаление переносов из сниппетов в [img]https://a-parser.com/img/parsers/se-google.png[/img] [url=https://a-parser.com/wiki/se-google-modern/]SE::Google::Modern[/url]
[*]Картинка каптчи в парсере [img]https://a-parser.com/img/parsers/se-yandex-register.png[/img] [url=https://a-parser.com/wiki/se-yandex-register/]SE::Yandex::Register[/url] теперь скачивается через прокси
[*]Множество мелких улучшений в интерфейсе
[/list]
[b]Исправления в связи с изменениями в выдаче[/b]
[list]
[*]Исправлена работа [img]https://a-parser.com/img/parsers/se-youtube.png[/img] [url=https://a-parser.com/wiki/se-youtube/]SE::Youtube[/url] при переопределении опции Result type
[*]Исправлен многостраничный парсинг в [img]https://a-parser.com/img/parsers/se-bing.png[/img] [url=https://a-parser.com/wiki/se-bing/]SE::Bing[/url]
[*]Полностью переписан [img]https://a-parser.com/img/parsers/se-yandex-register.png[/img] [url=https://a-parser.com/wiki/se-yandex-register/]SE::Yandex::Register[/url], добавлена возможность выводить ответ на секретный вопрос
[*]Исправлена проверка следующей страницы в [img]https://a-parser.com/img/parsers/se-seznam.png[/img] [url=https://a-parser.com/wiki/se-seznam/]SE::Seznam[/url]
[*]Устранена ситуация, когда в [img]https://a-parser.com/img/parsers/se-yandex-position.png[/img] [url=https://a-parser.com/wiki/se-yandex-position/]SE::Yandex:: Position[/url] парсилась неполная ссылка
[*]Исправлен подсчет неудачных запросов в [img]https://a-parser.com/img/parsers/se-google-trustcheck.png[/img] [url=https://a-parser.com/wiki/se-google-trustcheck/]SE::Google::TrustCheck[/url] и [img]https://a-parser.com/img/parsers/se-google-compromised.png[/img] [url=https://a-parser.com/wiki/se-google-compromised/]SE::Google::Compromised[/url]
[*][img]https://a-parser.com/img/parsers/se-yandex-direct.png[/img] [url=https://a-parser.com/wiki/se-yandex-direct/]SE::Yandex:: Direct[/url], [img]https://a-parser.com/img/parsers/shop-yandex-market.png[/img] [url=https://a-parser.com/wiki/shop-yandex-market/]Shop::Yandex::Market[/url]
[/list]
[b]Исправления[/b]
[list]
[*]Исправлена работа Конструктора регулярных выражений
[*]Исправлена работа с кодировками в парсерах переводчиков и JS парсерах
[*]Исправлена работа [img]https://a-parser.com/img/parsers/se-google-position.png[/img] [url=https://a-parser.com/wiki/se-google-position/]SE::Google:: Position[/url]
[*]Исправлен выбор региона в [img]https://a-parser.com/img/parsers/se-yandex-direct.png[/img] [url=https://a-parser.com/wiki/se-yandex-direct/]SE::Yandex:: Direct[/url]
[*]Исправлена работа опции Location в [img]https://a-parser.com/img/parsers/se-google.png[/img] [url=https://a-parser.com/wiki/se-google-modern/]SE::Google::Modern[/url]
[*]Исправлена работа сессий в [img]https://a-parser.com/img/parsers/se-google.png[/img] [url=https://a-parser.com/wiki/se-google-modern/]SE::Google::Modern[/url] при переопределенном домене
[*]Исправлена ошибка при совместном использовании опций Перезаписи файла, Начального и Конечного текстов
[*]Исправлено отображение вкладок в Тесте задания
[*]Исправлено отображение списка пресетов в поле Запустить по завершению
[*]Исправлена работа this.proxy.set в JS парсерах
[*]Исправлена передача дополнительных параметров в JS парсерах
[*]Исправлена ошибка, из-за которой через API нельзя было указать Начальный и Конечный тексты
[*]Исправлен экспорт пресетов
[/list]
[b]Использование Xevil совместно A-Parser для разгадывания ReCaptcha2[/b]

[img]https://files.a-parser.com/img/ap+xevil_logo.png[/img]

Как известно, сейчас Google при парсинге очень часто выдает рекаптчу, что значительно усложняет и замедляет сбор данных.
В A-Parser есть возможность обходить данную проблему, разгадывая рекаптчу с помощью сторонних сервисов. Поддерживаются различные онлайн сервисы, а также программные решения.

Одним из таких решений есть XEvil. Его использование дает хороший прирост в скорости, а также значительно удешевляет парсинг, ведь здесь нету оплаты за количество разгаданных каптч/рекаптч, как в онлайн сервисах. Кроме этого, XEvil умеет разгадывать практически любые обычные каптчи (в виде картинки) и данная возможность также поддерживается в A-Parser.

[url=https://www.youtube.com/watch?v=jbhpPUBWy5g][img]https://files.a-parser.com/img/Ispolzovanie_Xevil_sovmestno_A-Parser_dlya_razgadyvaniya_ReCaptcha2___A-Parser_-_parser_dlya_professionalov_SEO_-_Google_Chrome_2018-03-05_12.50.16.jpg[/img][/url]

На данный момент использовать разгадывание рекаптчи с помощью XEvil можно в таких парсерах:
[list]
[*][img]https://a-parser.com/img/parsers/se-google.png[/img] [url=https://a-parser.com/wiki/se-google-modern/]SE::Google::Modern[/url]
[*][img]https://a-parser.com/img/parsers/se-google-position.png[/img] [url=https://a-parser.com/wiki/se-google-position/]SE::Google:: Position[/url]
[*][img]https://a-parser.com/img/parsers/se-google-trustcheck.png[/img] [url=https://a-parser.com/wiki/se-google-trustcheck/]SE::Google::TrustCheck[/url]
[*][img]https://a-parser.com/img/parsers/se-google-compromised.png[/img] [url=https://a-parser.com/wiki/se-google-compromised/]SE::Google::Compromised[/url]
[*][img]https://a-parser.com/img/parsers/rank-megaindex.png[/img] [url=https://a-parser.com/wiki/rank-megaindex/]Rank::MegaIndex[/url]
[*]а также любые кастомные [url=https://a-parser.com/wiki/js-parsers/]JavaScript парсеры[/url]
[/list]

[B]В видео показано:[/B]
[list]
[*]подключение Xevil к A-Parser для работы с ReCaptcha2
[*]проверка работы и демонстрация работы в SE::Google::Modern
[/list]

Ознакомиться более детально с возможностями XEvil можно по ссылкам:
[list]
[*][url=www.botmasterlabs.net/]www.botmasterlabs.net/[/url]
[*][url=xevil.net/ru/]xevil.net/ru/[/url]
[/list]

Оставляйте комментарии и [url=https://www.youtube.com/c/AParser_channel/]подписывайтесь на наш канал на YouTube![/url]
Сборник рецептов #21: уведомления в Telegram из A-Parser, мультифильтр и парсинг IMDb

21-й сборник рецептов. В нем мы научимся отправлять сообщения в Telegram прямо из A-Parser, изучим работу с модулями Node.js в JS парсерах на примере решения задачи фильтрации по множеству признаков, а также спарсим весь IMDb. Поехали!

Уведомления в Telegram из A-Parser

Telegram является одним из самых популярных мессенджеров благодаря своей простоте, и в то же время большому функционалу. Среди прочего, в Телеграме можно создавать ботов, с помощью которых можно делать чаты более интерактивными. Взаимодействие с ботом на на стороне сервера происходит через Telegram Bot API. Используя эти возможности, можно легко и буквально за несколько минут настроить уведомления себе в Telegram прямо из парсера. О том, как это сделать, а также несколько реальных примеров - по ссылке выше.

Рисунок

Рисунок


Фильтрация по множеству признаков

Как известно, для фильтрации в А-Парсере используется встроенный функционал фильтров. Но бывают ситуации, когда список признаков, наличие которых нужно проверять, очень большой и его сложно вписать в строку стандартного фильтра.
Начиная с версии 1.2.127 в A-Parser добавлена поддержка модулей Node.js. Благодаря этому появилась возможность читать список признаков из файла и использовать его для проверки страниц. О том, как это сделать, а также готовый парсер с мультифильтром - по ссылке выше.

Рисунок


Парсинг рекомендаций фильмов из IMDb

Пример решения задачи по сбору данных о фильмах и их рекомендаций на IMDb. Данная статья показывает, как можно решать задачи, которые на первый взгляд требуют много времени и ресурсов, буквально за несколько часов. Узнать о том, как спарсить весь IMDb за 1,5 часа, а также посмотреть пресет и забрать готовую базу можно по ссылке выше.

Рисунок


Еще больше различных рецептов в нашем обновленном Каталоге!
Предлагайте ваши идеи для новых парсеров здесь, лучшие будут реализованы и опубликованы.

Подписывайтесь на наш канал на Youtube - там регулярно выкладываются видео с примерами использования A-Parser, а также следите за новостями в Twitter.

*Сборник рецептов #1: Определяем CMS, оцениваем частотность ключевых слов и парсим Вконтакте
*Сборник рецептов #2: собираем форумы для XRumer, парсим email со страниц контактов
*Сборник рецептов #3: мобильные сайты, несколько парсеров, позиции ключевых слов
*Сборник рецептов #4: поиск в выдаче, парсинг интернет-магазина и скачиваем файлы
*Сборник рецептов #5: ссылки из JS, паблик прокси и карта сайта
*Сборник рецептов #6: парсим базу номеров телефонов и сохраняем результаты красиво
*Сборник рецептов #7: парсим RSS, качаем картинки и фильтруем результат по заголовкам
*Сборник рецептов #8: парсим 2GIS, Google translate и подсказки Youtube
*Сборник рецептов #9: проверяем сезонность ключевых слов и их полезность
*Сборник рецептов #10: пишем кастомный парсер поисковика и парсим дерево категорий
*Сборник рецептов #11: парсим Авито, работаем с JavaScript, анализируем тексты и участвуем в акции!
*Сборник рецептов #12: парсим Instagram, собираем статистику и делаем свои парсеры подсказок
*Сборник рецептов #13: сохраняем результат в файл дампа SQL и знакомимся с $tools.query
*Сборник рецептов #14: используем XPath, анализируем сайты и создаем комбинированные пресеты
*Сборник рецептов #15: анализируем скорость и юзабилити сайтов, парсим Яндекс.Картинки и Baidu
*Сборник рецептов #16: парсинг OpenSiteExplorer с авторизацией, Яндекс.Каталога и Яндекс.Новостей
*Сборник рецептов #17: картинки из Flickr, язык ключевых слов, список лайков в ВК
*Сборник рецептов #18: скриншоты сайтов, lite выдача Яндекса и проверка сайтов
*Сборник рецептов #19: публикация сообщений в Wordpress, парсинг Chrome Webstore и AliExpress
*Сборник рецептов #20: автообновление цен в ИМ, анализ текстов и регистрация аккаунтов


Сборники статей:

*Сборник статей #1: A-Parser для маркетологов, SEO-специалистов и реальный опыт работы
*Сборник статей #2: цикл статей-уроков по созданию JS парсеров
1.2.160 - поддержка SQLite, проверка доменов на клей, Parse all results в SE::Yahoo(https://a-parser.com/threads/4353/)

Рисунок


Улучшения

* Добавлена поддержка SQLite в JavaScript парсерах и шаблонизаторе, пример использования здесь(https://a-parser.com/resources/272/)

* Добавлена защита от случайного закрытия окна парсера

* В SE::Yahoo(url=https://a-parser.com/wiki/se-yahoo/) добавлены Parse all results и Parse related to level

* SE::Yandex::TIC(https://a-parser.com/wiki/se-yandex-tic/) полностью переписан, добавлена возможность проверять домены на клей

* В Rank::MegaIndex(https://a-parser.com/wiki/rank-megaindex/) добавлена поддержка ReCaptcha2
* Улучшен парсинг сниппетов в SE:: DuckDuckGo(https://a-parser.com/wiki/se-duckduckgo/)

* Улучшен сбор почт в HTML::EmailExtractor(https://a-parser.com/wiki/html-emailextractor/)

Исправления в связи с изменениями в выдаче

* Обновлен алгоритм Bypass Cloudflare

* SE::Bing::Translator(https://a-parser.com/wiki/se-bing-translator/) почти полностью переписан в связи с изменением логики работы переводчика Bing

* Исправлена работа SE::Seznam(https://a-parser.com/wiki/se-seznam/) с некоторыми видами запросов

* Исправлен парсинг related keywords, а также мобильной выдачи в SE::Google::Modern(https://a-parser.com/wiki/se-google-modern/)

* Исправлен парсинг related keywords в SE::Bing(https://a-parser.com/wiki/se-bing/)

* Исправлена работа SE::IxQuick(https://a-parser.com/wiki/se-ixquick/) при работе с русскоязычными запросами

* SE::Yandex:: Direct(https://a-parser.com/wiki/se-yandex-direct/), SE::Google::ByImage(https://a-parser.com/wiki/se-google-byimage/), SE::Yandex::WordStat(https://a-parser.com/wiki/se-yandex-wordstat/)

Исправления

* Исправлена работа SE::Google::Modern(https://a-parser.com/wiki/se-google-modern/) на IPv6 прокси

* Исправлена ошибка, из-за которой SE::Google::Modern(https://a-parser.com/wiki/se-google-modern/) собирал ссылки с пометкой опасных сайтов в общий массив ссылок

* Исправлена работа с оператором поиска + в SE::Bing(https://a-parser.com/wiki/se-bing/)

* Исправлен парсинг запросов со спецсимволами в SE:: DuckDuckGo(https://a-parser.com/wiki/se-duckduckgo/)

* Исправлена работа Rank::MajesticSEO(https://a-parser.com/wiki/rank-majesticseo/)

* Исправлен баг с overrideOpts в JS парсерах

* Исправлена работа с переменными при их создании в Parse custom results, а также при использовании нижнего подчеркивания в именах в Конструкторе результатов

* Исправлена работа tools.js, баг появился в одной из предыдущих версий

* Исправлен баг, из-за которого А-Парсер падал на некоторых ОС, появился в одной из предыдущих версий
Изменено: A-Parser Support - 26 Марта 2018 15:10
Видео урок: Создание JS парсеров. Работа с CAPTCHA

Третье видео в цикле уроков по созданию JavaScript парсеров. Здесь рассказано о том, как написать JS парсер, в котором будет поддержка антигейта для разгадывания каптч на страницах.

Загрузка плеера

В уроке рассмотрено:

* Создание JS-парсера для разгадывания капчи
* Работа с объектом this.captcha внутри JavaScript кода
* Описание процесса разгадывания каптчи, реализованного в A-Parser


Статья и готовый парсер: https://a-parser.com/resources/257/

Оставляйте комментарии и подписывайтесь на наш канал на YouTube!
Изменено: A-Parser Support - 5 Апреля 2018 11:50
Страницы: 1 2 3 4 5 ... 13 След.
Похожие темы:
Читают тему (гостей: 1, пользователей: 0, из них скрытых: 0)
Новые темыОбъявленияСвободное общение
18:31 Webvork - международная товарная СРА сеть с сертифицированными офферами на Европу. 
14:23 Резкое падение трафика в Гугл 
14:20 Проверить сайт на уязвимость 
02:39 LGaming - экосистема и партнерская программа в gambling и betting вертикалях 
15:44 AntiBot Cloud - бесплатный скрипт и сервис защиты сайтов 
14:53 2Index - быстрая индексация страниц сайта и обратных ссылок 
22:26 DreamCash.tl - заработок на онлайн-видео. До 95% отчислений, отличный конверт! 
22:31 Coin Click.cc - Быстрый и надежный обмен электронных валют в два клика 
22:30 BestX24 - быстрый и безопасный обменник криптовалют и электронных денежных средств 
21:16 Продам обменник криптовалюты, а также новый обменник под ключ с обучением. Скидки на скрипты обменника 
21:12 SpeedyIndex - ускорение индексирования ссылок в Google. 100 ссылок в подарок. 
19:52 Прием платежей для HIGH RISK | Прием платежей без сайта 
19:52 Услуги рассылки Viber|Whatsapp|IMO. 
19:39 Рассылка в TELEGRAM |Большой опыт работы | Любые тематики | Лучшая конверсия 
00:18 Осторожно! Криптовалюта 
20:31 Добро пожаловать в цифровой мир... 
18:26 Стряхнуть обыденность - об Агасфере 
02:02 Точные прогнозы на футбол 
11:30 Не храните данные на жёстких дисках 
21:52 Советский буфет и «90-е»: как будут проводить новогодние корпоративы 
20:27 В США принят эпохальный закон, направленный на упрощение процедуры отказа от услуг