A-Parser 1.1 - продвинутый парсер поисковых систем, Suggest, PR, DMOZ, Whois, etc
Страницы: Пред. 1 2 3 4
A-Parser 1.1 - продвинутый парсер поисковых систем, Suggest, PR, DMOZ, Whois, etc
1.2.434 - множество улучшений и новых возможностей в парсерах, оптимизация работы, поддержка SOCKS4
Рисунок

Улучшения
* В SE::Yandex добавлен парсинг значков
* В SE::Google::Modern добавлена опция Disable autocorrect, которая позволяет отключить автоисправление Гугла и парсить выдачу именно по указанному запросу
* В SE::Yahoo добавлен выбор страны, языка и Safe Search, обновлен список доменов
* В Net:: DNS добавлена возможность выводить записи любого типа
* В Rank::MajesticSEO добавлена проверка контента и поддержка сессий
* Значительно улучшен SE::Google::Suggest, добавлены новые возможности
* В SE::IxQuickдобавлен параметр Family filter, позволяет выбрать уровень фильтрации
* В Shop::Amazon добавлена возможность парсить количество продавцов для каждого товара
* Теперь в SE::Yandex при получении 404 кода ответа парсер будет повторять попытку, также улучшена проверка контента
* Теперь в Rank::SEMrush при получении 403 кода ответа прокси будет баниться
* Добавлена поддержка SOCKS4 прокси
* Оптимизирована загрузка и сохранение конфига и файлов заданий
* Улучшена скорость загрузки JS парсеров
* Уменьшено использование памяти в JS парсерах
* Улучшение производительности при использовании сокетов в JS парсерах

Исправления в связи с изменениями в выдаче

* В SE::Google::Modern исправлен парсинг анкоров
* В SE::Yandex::Images парсинг начинался со 2-й страницы
* Исправлен парсинг ссылок в SE::Baidu
* Исправлен парсинг countries в Rank::SEMrush::Keyword
* SE:: DuckDuckGo, SE:: DuckDuckGo::Images, SE::IxQuick, Shop::Amazon

Исправления

* В SE::Google::Modern исправлена проблема, при которой запрос считается неудачным при использовании Parse not found
* Исправлена обработка пустой выдачи в SE::Yandex
* Исправлена проблема, когда SE:: DuckDuckGo не парсил запросы в которых больше 1 слова
* JS парсеры: исправлена работа setTimeout на Windows
* Исправлен ряд ошибок, которые появились в процессе оптимизации парсера

Прогон по твиттеру, постинг в 1500 аккунтов
Постинг в твиттер аккаунты, для ускорения индексации ваших сайтов, сателлитов, дорвеев.

Сборник статей #7: сохранение в xlsx, работа с API и обзор методов автоматизации
7-й сборник статей. В нем мы научимся сохранять результаты в виде Excel файлов, продолжим изучение работы через API, а также ознакомимся с 5-ю способами автоматизации последовательного выполнения нескольких заданий. Поехали!

Сохранение результатов в формате Excel (.xlsx)
Вывод результатов в виде xlsx файлов (стандартный формат Excel) - это очень популярный вопрос среди пользователей A-Parser. Ранее такой возможности не было, но с добавлением поддержки Node.js модулей это стало возможным. Поэтому мы публикуем статью, в которой показан реальный пример парсинга с сохранением в Excel. Ознакомиться со всеми подробностями можно по ссылке выше.
Рисунок


Работаем с API, часть 2
Это вторая часть из цикла статей по работе с A-Parser через API. В ней на примере парсинга e-mail будет рассмотрен метод addTask. Все детали - по ссылке выше.
Рисунок


Обзор вариантов последовательного выполнения нескольких заданий
Очень часто возникают задачи, решение которых требует использования возможностей сразу нескольких разных парсеров и при этом результаты работы одного нужно передавать в следующий. А-Парсер - это очень гибкий инструмент, поэтому существует сразу несколько способов, как автоматизировать последовательное выполнение нескольких заданий, при этом максимально автоматизируя работу и повышая производительность. Описание всех возможных методов читайте в обзоре по ссылке выше.

Если вы хотите, чтобы мы более подробно раскрыли какой-то функционал парсера, у вас есть идеи для новых статей или вы желаете поделиться собственным опытом использования A-Parser (за небольшие плюшки smile:) ) - отписывайтесь здесь.

Подписывайтесь на наш канал на Youtube - там регулярно выкладываются видео с примерами использования A-Parser, а также следите за новостями в Twitter.
Видео урок: Работа с API, часть 2
Вторая часть из цикла уроков о работе с API A-Parser. В видео на реальных примерах показана работа с методами addTask, getTaskState, getTaskConf и getTaskResultsFile.

Загрузка плеера


В этом уроке рассмотрены:
* методы API для постановки длительных задач, а также для просмотра информации о задании
* составление JSON для используемых API запросов
* функция Получить API запрос
* демонстрация работы с API, используя Postman[/LIST]
Документация по API: https://a-parser.com/wiki/user-api/

Также рекомендуем статью с несколькими интересными кейсами использования A-Parser от руководителя оптимизаторов в «Ашманов и партнёры» Никиты Тарасова: https://vc.ru/seo/61162-pravilno-sobrat-semanticheskoe-yadro-dlya-prodvizheniya-sayta

Оставляйте комментарии и подписывайтесь на наш канал на YouTube!
Изменено: A-Parser Support - 28 Марта 2019 13:59
1.2.455 - поддержка puppeteer, все методы в Net::HTTP, обновление Bypass Cloudflare
Рисунок

Начиная с версии 1.2.455 мы начинаем официальную поддержку Node.JS модуля puppeteer - средства автоматизации работы с браузером Chrome(Chromium), благодаря чему возможен полноценный рендеринг DOM с поддержкой JS. В качестве примера мы выкладываем парсер, который делает скриншоты сайтов в формате PNG, доступен выбор размера скриншота. Chromium может быть запущен как на Windows, так и на Linux серверах без GUI.

* Пример парсера и более детальное описание
* Документация по puppeteer

Улучшения

* SE::Bing::Images полностью переписан, добавлен сбор дополнительных данных, а также в настройках добавлен выбор региона и языка интерфейса
* В Net::HTTP добавлены все методы в настройки, а также реализована возможность переопределения через заголовок Method
* Добавлена возможность форматирования всех цифр в интерфейсе
* JS парсеры: в this.parser.request для override добавлена опция needData, которая определяет передавать или нет в ответе data/pages[], может использоваться для оптимизации
* JS парсеры: добавлена поддержка модулей url и ws


Исправления в связи с изменениями в выдаче

* Net::Whois - не всегда корректно обрабатывалась доменная зона com.br
* SE::Yandex, SE::Ask, SE:: DuckDuckGo, SE:: DuckDuckGo::Images, Rank::MajesticSEO


Исправления

* Исправлена работа функции Bypass Cloudflare в Net::HTTP
* Исправлена ошибка, из-за которой при определенных настройках не писался Начальный текст
* Исправлена работа некоторых socks4 прокси
* Исправлена ошибка в $tools.base64.encode() при работе с кириллическими символами
* В Shop::Amazon исправлена ошибка, при которой игнорировался домен
* JS парсеры: исправлена редкая ошибка в работе сокетов в Node.js
Сборник рецептов #31: скидка -50% на XEvil, скриншоты страниц, подсказки Я.Маркета и правописание
31-й сборник рецептов. В нем будет показан способ создания скриншотов веб-страниц, парсинг подсказок Яндекс Маркета, а также проверка правописания в Google. Кроме этого, только до конца апреля доступна возможность купить XEvil со скидкой. Далее обо всем по порядку.

Скидка -50% на покупку XEvil для существующих и новых пользователей A-Parser
Для всех существующих и новых пользователей A-Parser действует скидка на покупку XEvil -50%!
XEvil - это простая, быстрая и удобная программа для полностью автоматического распознавания и обхода подавляющего числа капч и рекапч, без необходимости подключения каких-либо сторонних сервисов. Использование XEvil в связке с A-Parser позволяет значительно удешевить парсинг ресурсов, где необходимо разгадывать капчи/рекапчи, при этом практически не теряя в скорости.
Акция действует до конца апреля. Количество промокодов ограничено, поэтому не упустите возможность воспользоваться скидкой!
Для получения промокода на покупку XEvil пишите в тикеты.
Рисунок


JS::Chrome::ScreenshotsMaker
Возможность загружать страницы с полной обработкой всех скриптов, аналогично браузеру - это один из самых популярных фичреквестов для A-Parser. Поэтому буквально недавно была добавлена поддержка Node.js модуля puppeteer, с помощью которого теперь можно получать полностью отрендеренные страницы. И мы публикуем первый пример по работе с ним - парсер для создания скриншотов веб-страниц. Больше информации, пример работы и готовый парсер - все это доступно по ссылке выше.
Рисунок


Парсер подсказок Яндекс.Маркет
Еще один парсер подсказок, на этот раз из Яндекс Маркета. Собираются подсказки, их популярность (частота), тип, а также, опционально, категория (включая полный путь родительских категорий). Готовый парсер, как обычно, доступен в нашем Каталоге по ссылке выше.
Рисунок


Проверка правописания в Google
Данный парсер позволяет проверить ключевые слова через поиск Google на предмет опечаток и получить исправленные варианты. Готовый пресет доступен по ссылке выше.
Рисунок


Еще больше различных рецептов в нашем Каталоге!
Предлагайте ваши идеи для новых парсеров здесь, лучшие будут реализованы и опубликованы.

Подписывайтесь на наш канал на Youtube - там регулярно выкладываются видео с примерами использования A-Parser, а также следите за новостями в Twitter.
Видео урок: Работа с MySQL
Видеоурок по работе с MySQL в A-Parser. В нем на реальном примере показано как работать с базами данных MySQL, используя Node.js модуль mysql2.

Загрузка плеера


В этом уроке рассмотрены:

* Установка и подключение модулей
* Некоторые основы языка запросов SQL
* Создание базы данных MySQL
* Получение и запись данных в БД, используя JS-парсеры

Полезные ссылки:

* https://www.mysql.com/products/workbench/
* https://www.npmjs.com/package/mysql
* https://a-parser.com/resources/308/


Оставляйте комментарии и подписывайтесь на наш канал на YouTube!
Сборник рецептов #32: Yahoo Answers, контакты фрилансеров и оценка ключевых слов

32-й сборник рецептов, в котором подобраны 3 JS парсера для парсинга Yahoo Answers, оценки ключевых слов и сбора контактных данных фрилансеров.

Парсер Yahoo Answers
Полноценный парсер сервиса Yahoo Answers, который по ключевым словам позволяет собирать непосредственно вопросы, ответы, а также их категории, дату создания и ссылки на страницы обсуждений.
Рисунок


Парсинг контактов фрилансеров
Парсер, который ищет по ключевым словам фрилансеров и собирает их контакты. Данные собираются с сервиса fl.ru.
Рисунок


Анализ ключевых слов
Парсер для сервиса seranking.com. Кейворды оцениваются по 4-м показателям: частотность, стоимость клика (CPC), стоимость трафика и KEI. Также есть возможность собирать похожие, релевантные и подсказки к начальному запросу вместе с их показателями.
Рисунок


Еще больше различных рецептов в нашем Каталоге!
Предлагайте ваши идеи для новых парсеров здесь, лучшие будут реализованы и опубликованы.

Подписывайтесь на наш канал на Youtube - там регулярно выкладываются видео с примерами использования A-Parser, а также следите за новостями в Twitter.
1.2.484 - 4 новых парсера, улучшение работы и исправление существующих
Рисунок

Улучшения

*Новые парсеры:

-Maps::Google - по ключевым словам собирает различные данные об организациях в заданных координатах
-Maps::Yandex - по ключевым словам собирает различные данные об организациях в заданных координатах
-Rank::Bukvarix:: Domain - сбор ключевых слов по домену
-Rank::Bukvarix::Keyword - сбор ключевых слов по домену
[/LIST]
* Удалены 4 неактуальных парсера: Rank::SEMrush::Keyword, SE::QIP, SE::QIP::Position, Rank::MegaIndex
* Улучшена работа Рисунок
SE::AOL
* JS парсеры: для this.request добавлена опция data_as_buffer, которая определяет возвращать data как строку(String) или объект Buffer
[/LIST]

Исправления в связи с изменениями в выдаче
* В SE::Google::Modern исправлена работа с рекаптчами, исправлен парсинг сниппетов, а также исправлен парсинг мобильной выдачи
* Rank::SEMrush полностью переписан, также полностью изменился список собираемых данных, парсер возвращает только те данные, которые доступны без авторизации
* Полностью переписан Rank::Alexa
* Исправлена работа Rank::MajesticSEO, теперь обязательно требуется установка Node.js и модуля brotli
* В Rank::Social::Signal удалена переменная $facebook_share в связи с прекращением поддержки со стороны FB
* SE::IxQuick, Shop::AliExpress, SE:: DuckDuckGo::Images , Shop::Amazon, Check::RosKomNadzor


Исправления

* Исправлена работа с запросами, содержащими пробел в SE:: DuckDuckGo
* Исправлена проблема с декомпресией данных на некоторых сайтах
* JS парсеры: исправлена работа setImmediate
Видео урок: Получение уведомлений в Telegram об окончании срока регистрации доменов
В этом видеоуроке будет показано, как настроить периодическую проверку окончания срока регистрации доменов, и получать уведомления в телеграм, если он меньше заданного количества дней.
Загрузка плеера

В уроке рассмотрено:
* использование tools.js для написания собственных функций
* работа с шаблонизатором Template Toolkit
* проверка доменов через WHOIS
* цепочки заданий
* отправка сообщений в Telegram с помощью бота
Полезные ссылки:
* https://a-parser.com/threads/4316/ - статья о создании бота и группы для получения уведомлений в Telegram
* https://a-parser.com/resources/304/ - видеоурок по созданию Телеграм канала на базе A-Parser
* https://a-parser.com/resources/287/ - готовые для импорта пресеты
* https://core.telegram.org/bots/api - документация по Telegram Bot API
Оставляйте комментарии и подписывайтесь на наш канал на YouTube!

Рисунок
1.2.503 - обновление JavaScript движка и множество улучшений
Рисунок

Улучшения
[LIST]
[*]Движок v8 обновлен до версии 7.5, помимо увеличения скорости есть множество улучшений в поддержке новых возможностей языка JavaScript
[*]В Рисунок
SE::Yandex в массив $ads добавлена переменная $visiblelink, в которой содержится видимая ссылка
[*]В Рисунок
Rank::Bukvarix:: Domain добавлена переменная $totalcount которая содержит количество результатов
[*]В Рисунок
SE::Yahoo добавлена опция Not found is error, указывающая, считать ли отсутствие результатов ошибкой
[/LIST]

Исправления в связи с изменениями в выдаче
[LIST]
[*]Исправлен парсинг $title в Рисунок
Shop::Yandex::Market
[*]В Рисунок
SE::Google::Modern исправлен парсинг видео в мобильной выдаче
[*]В Рисунок
Maps::Yandex исправлен парсинг рейтингов
[*]Исправлена проверка получаемого контента в Рисунок
SE::Yahoo
[*] Рисунок
SE:: DuckDuckGo, Рисунок
Shop::Amazon, Рисунок
SE:: DuckDuckGo::Images
[/LIST]
Исправления
[LIST]
[*]Исправлена редкая проблема с ошибками в JS парсерах на Windows
[*]В Рисунок
SE::Baidu исправлена работа функции Get full links для результатов без ссылок
[*]Исправлена проблема с Decode JSON error в парсерах WordStat
[*]Исправлен баг с перезагрузкой кода JS парсера при редактировании в сторонних приложениях, проблема возникла в одной из предыдущих версий
[/LIST]
Рисунок
Страницы: Пред. 1 2 3 4
Похожие темы:
Читают тему (гостей: 1, пользователей: 0, из них скрытых: 0)
Новые темыОбъявленияСвободное общение
09:05 Обновление поисковой базы Яндекса 18.06.2019. 
08:12 Как обналичить деньги через Google Adsens? 
07:47 АП Яндекс выдача 17.06.2019 | Письма пришли? 
03:03 Продвижение в ТОП Яндекс. Мега быстро! 
20:39 Бот для поиска вирусов и вредоносных скриптов CwisAntivirusBot 
20:26 Апдейт ИКС 24.05.19 
17:57 Что можно улучшить 
09:15 Продажа сайтов с икс и трафиком 
09:04 Куплю старый аккаунт Adsens дорого 
04:33 Семантическое ядро по новой технологии + LSI с ручной группировкой 
23:20 Софт на заказ 
22:16 Комплексная раскрутка сайтов. Качественные услуги, прогоны и прочее. (3000+ отзывов) 
20:42 Прогон по личной базе, больше 1000 трастовых сайтов! Продвижение СЧ и НЧ запросов + рост показателей! Гарантии! 
20:37 Куплю аккаунты Google Adsense 
23:10 Кто поджёг РКН? 
18:08 Сколько можно заработать на сайте с 60к уник траффом в день 
08:35 Наши машинки 
22:14 В поисках ПП (Партнёрской Программы) 
19:16 Букмекерские ставки 
17:56 Инвайт на webmaster.ru please! 
15:03 Деньги на бизнес