A-Parser 1.1 - продвинутый парсер поисковых систем, Suggest, PR, DMOZ, Whois, etc
Страницы: Пред. 1 ... 4 5 6 7 8
A-Parser 1.1 - продвинутый парсер поисковых систем, Suggest, PR, DMOZ, Whois, etc
Сборник статей #13: работа с MongoDB и поиск дроп доменов

Представляем 13-й сборник статей, в который вошли статья о работе с MongoDB и статья по поиску дроп доменов с использованием A-Parser.

Пример интеграции А-Парсера с MongoDB. CRUD Операции
В данной статье рассмотрен пример интеграции А-Парсера с MongoDB. В частности показаны CRUD операции. В качестве хранимых данных в базе используются результаты работы парсера поисковой выдачи Bing.
Рисунок


Дроп домены: для построения сеток PBN
PBN, или Private Blog Network — это сетка сайтов, созданных для того, чтобы с них проставлять ссылки на свои «белые» проекты для выхода в ТОП в высококонкурентных нишах. Такая сетка строится на дроп-доменах, поскольку у них есть история (конечно же, она должна быть чистой), траст, беклинки и даже трафик. В этой статье на конкретном примере показан пример решения задачи по поиску дропов с использованием A-Parser.
Рисунок



Если вы хотите, чтобы мы более подробно раскрыли какой-то функционал парсера, у вас есть идеи для новых статей или вы желаете поделиться собственным опытом использования A-Parser (за небольшие плюшки :-D ) - отписывайтесь здесь.

Подписывайтесь на наш канал на Youtube - там регулярно выкладываются видео с примерами использования A-Parser, а также следите за новостями в Twitter.

Все сборники статей

Рисунок

Рисунок

Прогон по твиттеру, постинг в 1500 аккунтов
Постинг в твиттер аккаунты, для ускорения индексации ваших сайтов, сателлитов, дорвеев.

1.2.1325 - новые парсеры Pinterest, улучшения в существующих парсерах, исправление ошибок

Рисунок


Улучшения
* Добавлены парсеры Pinterest:
- SE::Pinterest - парсинг поисковой выдачи Pinterest
- SE::Pinterest::Suggest - парсинг подсказок Pinterest с возможностью парсить в глубину
* В SE::Google добавлен парсинг исправленного запроса
* В SE::Dogpile::Images добавлена поддержка рекаптч
* В Shop::Yandex::Market добавлен сбор количества покупок и просмотров
* В HTML::EmailExtractor улучшено обнаружение почт, защищенных CF

Исправления в связи с изменениями в выдаче
* Адаптация к изменениям в верстке в SE::Google и SE::Yandex
* Исправлено определение turbo страниц в SE::Yandex
* Исправлена и оптимизирована работа SE::Google::TrustCheck и SE::Google::Compromised
* SE::Google::Cache, SE::DuckDuckGo, Rank::Alexa, Rank::Ahrefs

Исправления
* Исправлена проблема с распознаванием символов диакритики
* Устранены падения при ошибках в некоторых API запросах
* Исправлены зависания при парсинге SE::Yandex с использованием аккаунтов
* Исправлена ошибка распознавания дат в Net::Whois, а также адаптирован сбор данных для некоторых зон
* Исправлена ошибка выбора IP для Xevil/CapMonster в Util::ReCaptcha2
* Исправлена ошибка с указанием Provider url в Util::ReCaptcha2
* Исправлена ошибка при которой отсутствовал объект с перечнем редиректов в Net::HTTP при Engine = Chrome
* Исправлена работа Net::HTTP с http сайтами при Engine = Chrome
* JS парсеры: исправлена работа noChange в this.proxy.set()
* JS парсеры: исправлена ошибка, при которой set.lvl был пустой при вызове другого парсера из JS парсера
* Исправлена работа кнопки Выход

Рисунок


Рисунок
Сборник рецептов #48: скорость загрузки сайтов, парсер SocialBlade и определение категорий сайтов

48-й сборник рецептов, в котором собраны пресеты для сбора данных о скорости загрузки сайтов, парсинга статистики из SocialBlade и определения категорий сайтов.

Получение показателей скорости загрузки сайтов с помощью Chrome UX Report Compare Tool
Пресет для сбора данных о скорости загрузки сайтов/страниц с возможностью выбрать платформу (Desktop/Mobile/All). С его помощью можно массово измерить скорость по большим спискам сайтов и сравнить их производительность.
Рисунок


Парсинг статистики с Social Blade
Парсер для сбора данных из сервиса socialblade.com. С его помощью по ключевому слову, имени, бренду можно найти пользователей по социальным платформам, собрать количества подписчиков и спарсить теги твича.
Рисунок


Проверка категории сайтов через сервис cyren.com
Парсер сервиса cyren.com. С его помощью можно определить категорию сайта, а также собрать Alexa rank и некоторые Whois данные.
Рисунок



Еще больше различных рецептов в нашем Каталоге!

Предлагайте ваши идеи для новых парсеров здесь, лучшие будут реализованы и опубликованы.

Подписывайтесь на наш канал на Youtube - там регулярно выкладываются видео с примерами использования A-Parser, а также следите за новостями в Twitter.

Все сборники рецептов

Рисунок


Рисунок
Видео урок: Сбор форм обратной связи с тематических ресурсов +200 OK

Новый видео урок по работе с A-Parser от DIM STUDIO, в котором рассмотрен способ сбора форм обратной связи с тематических ресурсов.

Загрузка плеера


В данном уроке показано как собрать формы обратной связи с тематических ресурсов с последующей проверкой на 200 OK через A-Parser для подготовки к последующему прогону через Xrumer.

Плейлист со всеми видео уроками от DIM STUDIO

Оставляйте комментарии и подписывайтесь на наши каналы на YouTube: A-Parser и DIM STUDIO!

Рисунок


Рисунок
1.2.1353 - Обновление NodeJS, поддержка Windows 11 и Windows Server 2022

Рисунок


Улучшения
* NodeJS обновлен до версии 16.11.0
* Добавлена полная поддержка ОС Windows 11 и Windows Server 2022
* В SE::Google::Translate добавлена опция Device, которая позволяет переключаться между mobile и desktop версиями переводчика
* Улучшена работа с очень большими запросами в DeepL::Translator
* Улучшен алгоритм разделения запросов на части в SE::Yandex::Translate, теперь он максимально приближен к оригиналу
* В SE::Google::Cache добавлена переменная $link, содержащая ссылку из тулбара
* В Shop::Amazon добавлена возможность парсить ASIN товаров
* В Rank::MajesticSEO добавлена возможность собирать Incoming Languages и Site Languages

Исправления в связи с изменениями в выдаче
* Исправлен парсинг рекламы в SE::Google
* Исправлен парсинг $related в desktop выдаче SE::Yandex
* Исправлен парсинг сниппетов в desktop выдаче и парсинг mobile выдачи в целом в SE::Bing
* Исправлена работа парсеров Rank::Ahrefs и Rank::Ahrefs::KeywordDifficulty
* Rank::LinkPad удален из сборки в связи с закрытием доступа к данным
* Исправлен парсинг $totalcount в SE::Yahoo

Исправления
* Исправлена ошибка с символом $ в DeepL::Translator
* Исправлена работа прокси при использовании движка Chrome в Net::HTTP
* Исправлена проблема стабильности при использовании в некоторых случаях HTML::TextExtractor и HTML::TextExtractor::LangDetect
* Исправлена проблема из-за которой SE::Youtube иногда завершался с ошибкой
* Исправлен вывод исходников страниц в SE::Google::ByImage

Рисунок


Рисунок
Страницы: Пред. 1 ... 4 5 6 7 8
Похожие темы:
Читают тему (гостей: 1, пользователей: 0, из них скрытых: 0)
Новые темыОбъявленияСвободное общение
11:36 Kokos.click - народная тизерная сеть! 
09:55 Супер-партнерка PayV: избранные офферы в топовых нишах 
07:32 Сайт никак не двигается, нету даже в ТОПе100-200 
00:54 AviTool - мощный инструмент для автоматизации работы с Avito 
21:10 CPA-PRIVATE.BIZ - премиальная товарная программа. Только ТОП ставки! 
20:57 Нужен движок форума. 
20:52 Gambling Craft - гемблинг по белому 
10:15 [eBucks] Автоматический обмен криптовалют. BTC и любые альткоины. Киви, Банковские карты и др. электронные системы. 
07:40 ESSOMILLANNI.COM - SOLID INVESTMENTS 2X 
19:11 Oborot.net - обмен валют онлайн 
18:20 Продвижение YouTube, Insta, TikTok, Teleg, ВК, Твитер, ФБ, ОД 
17:53 Litex.pro обмен валюты с минимальной комиссией 
17:40 Letspay.me - Capitalist, BTC, ETH, USDT <=> Cash USD EUR UAH RUB, AUTO Visa MasterCard UAH RUB 
17:24 Coindrop.trade - обменник электронных валют 
11:31 Заблокировать посетителя через .htaccess 
08:49 37 противникам прививок от COVID грозят уголовные дела 
02:45 Вздремни со мной за деньги 
02:37 Двойные стандарты 
21:34 С юмором по жизни! 
21:07 Россияне рассказали, где собираются встретить Новый год 
20:57 Какой фильм вы любите посмотреть перед сном?