A-Parser 1.1 - продвинутый парсер поисковых систем, Suggest, PR, DMOZ, Whois, etc
Страницы: Пред. 1 2
A-Parser 1.1 - продвинутый парсер поисковых систем, Suggest, PR, DMOZ, Whois, etc
Сборник рецептов #22: проверка индексации в нескольких ПС, многоуровневый парсинг и поиск сабдоменов ( https://a-parser.com/threads/4405/ )

22-й сборник рецептов. В нем мы разберемся, как проверять индексацию всех страниц сайта одновременно в нескольких поисковиках, научимся парсить данные по ссылкам из выдачи одним заданием и будем искать сабдомены на сайтах. Поехали!

Получение страниц сайта и проверка индексации в Google и Яндекс ( https://a-parser.com/resources/250/ )
Данный пресет позволяет спарсить ссылки на все страницы сайта и одновременно проверить их на предмет индексации поисковиками (в примере Google и Яндекс, можно по аналогии добавить другие ПС). Готовый пресет и описание по ссылке выше.
Рисунок


Парсим title и description для TOP10 поисковой выдачи по ключевому слову ( https://a-parser.com/resources/263/ )
Пример использования tools.query.add в JavaScript парсерах. Данный парсер получает ссылки из выдачи, после чего собирает из каждой страницы title и description. И все это одним заданием с максимальной производительностью, благодаря многопоточному парсингу. Парсер с описанием доступны по ссылке выше.
Рисунок


Поиск сабдоменов сайта ( https://a-parser.com/resources/272/ )
Небольшой пример, который демонстрирует, как собрать поддомены одного или нескольких сайтов. Используется Рисунок
HTML::LinkExtractor ( https://a-parser.com/wiki/html-linkextractor/ ) и Parse to level для прохода вглубь по страницам сайта. При этом Конструктором результатов извлекаются из внутренних ссылок домены и выводятся с уникализацией по строке. Готовый пресет - по ссылке выше.
Рисунок


Кроме этого:

* Работа с SQLite из JavaScript парсеров ( https://a-parser.com/resources/272/ ) - показаны все базовые возможности нового функционала по работе с SQLite


Еще больше различных рецептов в нашем обновленном Каталоге ( https://a-parser.com/resources/ )!
Предлагайте ваши идеи для новых парсеров здесь ( https://a-parser.com/threads/3464/ ), лучшие будут реализованы и опубликованы.

Подписывайтесь на наш канал на Youtube ( https://www.youtube.com/channel/UCvypGICrfCky8tPtebmIvQw ) - там регулярно выкладываются видео с примерами использования A-Parser, а также следите за новостями в Twitter ( https://twitter.com/a_parser ).


* Сборник рецептов #1: Определяем CMS, оцениваем частотность ключевых слов и парсим Вконтакте ( a-parser.com/threads/1250/ )
* Сборник рецептов #2: собираем форумы для XRumer, парсим email со страниц контактов ( a-parser.com/threads/1328/ )
* Сборник рецептов #3: мобильные сайты, несколько парсеров, позиции ключевых слов ( a-parser.com/threads/1660/ )
* Сборник рецептов #4: поиск в выдаче, парсинг интернет-магазина и скачиваем файлы ( a-parser.com/threads/1674/ )
* Сборник рецептов #5: ссылки из JS, паблик прокси и карта сайта ( a-parser.com/threads/1705/ )
* Сборник рецептов #6: парсим базу номеров телефонов и сохраняем результаты красиво ( a-parser.com/threads/1737/ )
* Сборник рецептов #7: парсим RSS, качаем картинки и фильтруем результат по заголовкам ( a-parser.com/threads/1778/ )
* Сборник рецептов #8: парсим 2GIS, Google translate и подсказки Youtube ( a-parser.com/threads/1809/ )
* Сборник рецептов #9: проверяем сезонность ключевых слов и их полезность ( a-parser.com/threads/1830/ )
* Сборник рецептов #10: пишем кастомный парсер поисковика и парсим дерево категорий ( a-parser.com/threads/1881/ )
* Сборник рецептов #11: парсим Авито, работаем с JavaScript, анализируем тексты и участвуем в акции! ( a-parser.com/threads/1938/ )
* Сборник рецептов #12: парсим Instagram, собираем статистику и делаем свои парсеры подсказок ( a-parser.com/threads/2240/ )
* Сборник рецептов #13: сохраняем результат в файл дампа SQL и знакомимся с $tools.query ( a-parser.com/threads/2460/ )
* Сборник рецептов #14: используем XPath, анализируем сайты и создаем комбинированные пресеты ( a-parser.com/threads/2613/ )
* Сборник рецептов #15: анализируем скорость и юзабилити сайтов, парсим Яндекс.Картинки и Baidu ( a-parser.com/threads/2712/ )
* Сборник рецептов #16: парсинг OpenSiteExplorer с авторизацией, Яндекс.Каталога и Яндекс.Новостей ( https://a-parser.com/threads/2808/ )
* Сборник рецептов #17: картинки из Flickr, язык ключевых слов, список лайков в ВК ( https://a-parser.com/threads/3544/ )
* Сборник рецептов #18: скриншоты сайтов, lite выдача Яндекса и проверка сайтов ( https://a-parser.com/threads/3862/ )
* Сборник рецептов #19: публикация сообщений в Wordpress, парсинг Chrome Webstore и AliExpress ( https://a-parser.com/threads/3910/ )
* Сборник рецептов #20: автообновление цен в ИМ, анализ текстов и регистрация аккаунтов ( https://a-parser.com/threads/4074/ )
* Сборник рецептов #21: уведомления в Telegram из A-Parser, мультифильтр и парсинг IMDb ( https://a-parser.com/threads/4318/ )

Сборники статей:
* Сборник статей #1: A-Parser для маркетологов, SEO-специалистов и реальный опыт работы ( https://a-parser.com/threads/4009/ )
* Сборник статей #2: цикл статей-уроков по созданию JS парсеров ( https://a-parser.com/threads/4142/ )

Прогон по твиттеру, постинг в 1500 аккунтов
Постинг в твиттер аккаунты, для ускорения индексации ваших сайтов, сателлитов, дорвеев.

Сборник статей #3: пагинация, переменные и БД SQLite ( https://a-parser.com/threads/4442/ )

В этом сборнике статей мы рассмотрим все возможные варианты решения задачи прохода по пагинации на сайтах, очень детально изучим работу с переменными в JavaScript парсерах, а также попробуем работать с базами данных SQLite на примере парсера курсов валют. Поехали!

Обзор вариантов прохода по пагинации ( https://a-parser.com/resources/277/ )
В A-Parser существует несколько способов, с помощью которых можно реализовать проход по пагинации. В связи с их разнообразием, становится актуальным вопрос выбора нужного алгоритма, который позволит максимально эффективно переходить по страницам в процессе парсинга. В этой статье мы постараемся разобраться с каждым из способов максимально подробно. Также будут показаны реальные примеры и даны рекомендации по оптимизации многостраничного парсинга. Статья - по ссылке выше.
Рисунок


Переменные в парсерах JavaScript ( https://a-parser.com/resources/278/ )
JS парсеры в А-Парсере появились уже около года назад. Благодаря им стало возможным решать очень сложные задачи по парсингу, реализовывая практически любую логику. В этой статье мы максимально подробно изучим работу с разными типами переменных, а также узнаем, как можно оптимизировать работу сложных парсеров. Все это - в статье по ссылке выше.
Рисунок


Разработка JS парсера с сохранением результата в SQLite ( https://a-parser.com/resources/276/ )
Начиная с версии 1.2.152 в A-Parser появилась возможность работать с БД SQLite ( https://a-parser.com/resources/272/ ).
В данной статье мы рассмотрим разработку JavaScript парсера, который будет парсить курсы валют из сайта finance.i.ua и сохранять их в БД. В результате получится парсер, в котором продемонстрированы основные операции с базами данных. Подробности, а также готовый парсер - по ссылке выше.
Рисунок


Если вы хотите, чтобы мы более подробно раскрыли какой-то функционал парсера, у вас есть идеи для новых статей или вы желаете поделиться собственным опытом использования A-Parser (за небольшие плюшки smile:) ) - отписывайтесь здесь ( https://a-parser.com/threads/3464/ ).

Подписывайтесь на наш канал на Youtube ( https://www.youtube.com/channel/UCvypGICrfCky8tPtebmIvQw ) - там регулярно выкладываются видео с примерами использования A-Parser, а также следите за новостями в Twitter ( https://twitter.com/a_parser ).

Предыдущие сборники статей
* Сборник статей #1: A-Parser для маркетологов, SEO-специалистов и реальный опыт работы ( https://a-parser.com/threads/4009/ )
* Сборник статей #2: цикл статей-уроков по созданию JS парсеров ( https://a-parser.com/threads/4142/ )
1.2.185 - увеличение скорости в SE::Google::Modern, новые возможности Net:: DNS, множество улучшений [url=https://a-parser.com/threads/4471/]

Рисунок


Улучшения


[*] SE::Google::Modern [url=https://a-parser.com/wiki/se-google-modern/] - многократно увеличена скорость парсинга
[*]Множество улучшений в Net:: DNS [url=https://a-parser.com/wiki/net-dns/]:
      - Возможность указать несколько DNS и задать метод выбора
      - Бан нерабочих/плохих DNS по специальному эвристическому алгоритму
      - Возможность вывести в результат использованный DNS сервер при удачном запросе
[*]В SE::Google::Modern [url=https://a-parser.com/wiki/se-google-modern/] добавлена опция Use sessions
[*]В SE::Yandex::WordStat [url=https://a-parser.com/wiki/se-yandex-wordstat/] добавлена настройка пресета антигейта для логина
[*]Также в SE::Yandex::WordStat [url=https://a-parser.com/wiki/se-yandex-wordstat/] удалены настройки Use logins/Use sessions, теперь они включены всегда
[*]Добавлена возможность автоматического удаления задания из Завершенных
[*]В макросе подстановок {num} добавлена поддержка обратного отсчета
[*]В JavaScript парсерах добавлена возможность сохранения произвольных данных в сессии
[*]В JavaScript парсерах добавлена возможность прямого сохранения в файл
[*]В API методе oneRequest/bulkRequest добавлена возможность указать configPreset
[*]В связи с неактуальностью удалены парсеры SE::Google::Mobile и SE::Yandex::Catalog

Исправления в связи с изменениями в выдаче

[*]Исправлен парсинг сниппетов в SE::Yandex [url=https://a-parser.com/wiki/se-yandex/]
[*]В SE::Google::Modern [url=https://a-parser.com/wiki/se-google-modern/] исправлена пагинация в мобильной версии, а также парсинг сниппетов и рекламы в некоторых случаях
[*]Исправлен парсинг цен в GooglePlay::Apps [url=https://a-parser.com/wiki/googleplay-apps/]
[*]Исправлена работа функции Remove bad accounts в парсерах Wordstat
[*]Rank::MegaIndex [url=https://a-parser.com/wiki/rank-megaindex/], Rank::OpenSiteExplorer [url=https://a-parser.com/wiki/rank-opensiteexplorer/], Rank::OpenSiteExplorer::Extended [url=https://a-parser.com/wiki/rank-opensiteexplorer-extended/], SE:: DuckDuckGo [url=https://a-parser.com/wiki/se-duckduckgo/], SE::IxQuick [url=https://a-parser.com/wiki/se-ixquick/]

Исправления

[*]Количество неудачных больше не обнуляется при постановке на паузу
[*]Исправлена проблема с подключением Node.js модулей на Linux
[*]Исправлено падение парсера в редких ситуациях при использовании JS парсеров
[*]Решена проблема с подключением Node.js модулей lodash, sequelize
[*]Исправлена ошибка итератора при равных границах в макросе {num}
Разгадывание рекаптч в JS парсере

Очередное видео в цикле уроков по созданию JavaScript парсеров. Здесь показано, как реализовать разгадывание рекаптч в JS парсере.[https://www.youtube.com/watch?v=mFnseLvKkfE]

В уроке рассмотрено:

[*]Описание и настройка парсера [https://a-parser.com/wiki/util-recaptcha2/]
[*]Описание принципа работы ReCaptcha2
[*]Создание кастомного JavaScript парсера с поддержкой разгадывания рекаптч


Ссылки:

[*]Тестирование работы ReCaptcha2: [http.myjino.ru/recaptcha/test-get.php]
[*]Статья и готовый парсер: [https://a-parser.com/resources/259/]

Оставляйте комментарии и подписывайтесь на наш канал на YouTube! [https://www.youtube.com/c/AParser_channel]
Страницы: Пред. 1 2
Похожие темы:
Читают тему (гостей: 1, пользователей: 0, из них скрытых: 0)
Новые темыОбъявленияСвободное общение
15:30 Апдейт 21.05.2018 | Яндекс выдача 
15:11 Lottery Partner в поиске партнеров! Самые высокие ставки! 
14:58 Лучшая рекламная сеть Traffic.ru! 
14:21 Почему ЯВМ удаляет рабочие ссылки 
11:24 Пробую сделать верстку, логотипы, дизайны 
10:09 DreamCash.tl - заработок на онлайн-видео. До 95% отчислений, отличный конверт! 
08:36 AdBean.ru - Бобовая тизерная сеть. Новостные и товарные тизеры. До 90% отчислений! 
16:11 Услуги качественного рерайта по приемлемым ценам 
15:57 Новая услуга. Экономьте на SEO продвижении от 6000р. 
15:34 Продам Схему добычи гемблинг трафика с соц сетей. 
15:17 Веб-дизайн: От favicon до макета сайта 
14:57 Продам канал на Яндекс.Дзене 
14:55 Качественный прогон по трастовым сайтам и форумам. Рост ТИЦ, посещаемости и позиций. Множество отзывов, недорого + скидки 
14:49 Естественные ссылки под бурж 
16:47 Общество, в котором мы живём. Навязывает нам своё мнение! 
13:47 Конкурс с фондом 500 дол 
12:47 Где взять качественный крауд? 
12:30 Сервис сокращения ссылок онлайн. 
11:59 Платежи AdSense в Украине за апрель в мае 2018 года не приходят 
10:52 Unikalizator плагин для WP 
08:25 Фальшивые запросы из-за SEO специалистов, правда или вымысел...