A-Parser 1.1 - продвинутый парсер поисковых систем, Suggest, PR, DMOZ, Whois, etc
Страницы: Пред. 1 ... 8 9 10 11 12 След.
A-Parser 1.1 - продвинутый парсер поисковых систем, Suggest, PR, DMOZ, Whois, etc
Сборник рецептов #57: пересылка сообщений из Telegram каналов, скорость сайтов, проверка текстов

57-й сборник рецептов, в котором представлены: парсер для агрегации сообщений из нескольких Telegram каналов в один; парсер для анализа скорости работы сайта; парсер для анализа текстов на предмет их генерации сервисами ИИ.

Автоматическая пересылка сообщений из нескольких Telegram каналов в один

Рисунок


Представляем пример парсера для мониторинга Telegram каналов и автоматической пересылки сообщений в свой собственный канал. Код парсера как всегда открыт, поэтому есть возможность настроить нужный вид сообщений и редактировать логику работы.

Core Web Vitals

Рисунок


Парсер для анализа скорости сайта. Отчет о скорости сайта основан на реальных данных о просмотре сайтов пользователями Google Chrome, полученных из отчета Chrome User Experience Report (CrUX). Используя сервис calibreapp.

AI content detector

Рисунок


Парсер для анализа текстов на предмет их генерации сервисами ИИ. Определяется вероятность того, что текст был написан человеком, а не искусственным интеллектом. Используется сервис writer.com.


Еще больше различных рецептов в нашем Каталоге!
Предлагайте ваши идеи для новых парсеров здесь, лучшие будут реализованы и опубликованы.

Подписывайтесь на наш канал на Youtube - там регулярно выкладываются видео с примерами использования A-Parser, а также следите за новостями в Twitter.

Все сборники рецептов

Рисунок

Рисунок
Обновленные пресеты в каталоге A-Parser

Обновление пресетов в Каталоге примеров A-Parser

Проверка текста на уникальность
Парсер для проверки текста на уникальность через онлайн сервис. Собираются данные об уникальности, а также список сайтов, на которых есть совпадения и процент совпадения на них.
* Парсер переписан на TypeScript
* Добавлена поддержка запросов в виде ссылок: парсер автоматически определяет тип запроса и если это ссылка - сначала парсит текст выбранным парсером

Парсер hotline.ua
Парсер для агрегатора цен hotline.ua. Данный парсер собирает по ключевым словам информацию из прайсов hotline.ua: имя, описание, цены, изображения и т.д.
* Парсер переписан на TypeScript
* Исправлен сбор данных
* Обновлен набор собираемых данных

Парсинг подсети и организации по IP
Пресет для парсинга подсети и организации по IP
* Исправлена ошибка 403, из-за которой парсер не собирал результаты

Парсер отзывов Wildberries Reviews
Сбор отзывов по товарам с wildberries.ru в csv таблицу. Собираются следующие данные: артикул товара, имя того кто оставил отзыв, дата, количество звёзд, текст отзыва.
* Обновление в связи с изменениями в выдаче

Еще больше различных парсеров и пресетов в нашем Каталоге!
Присылайте свои идеи для новых парсеров сюда, самые интересные и востребованные мы обязательно реализуем!

Рисунок

Рисунок
Видео урок: Telegram канал - агрегатор сообщений из других каналов

Новый видео урок по работе с A-Parser от DIM STUDIO в котором показан способ создания телеграм канала агрегатора постов с других каналов.
Рисунок


Оригинальный парсер в Каталоге: https://a-parser.com/resources/477/
Плейлист со всеми видео уроками от DIM STUDIO
Оставляйте комментарии и подписывайтесь на наши каналы на YouTube: A-Parser и DIM STUDIO!

Рисунок


Рисунок
1.2.2014 - множество улучшений и исправлений во встроенных парсерах

Рисунок


Улучшения
* В SE::Yandex добавлена поддержка новой каптчи Яндекса
* Net::Whois - обновлены whois сервера, добавлены новые опции, реализована обработка статуса "Rate Limited"
* Rank::KeysSo - обновлен список регионов
* Shop::Yandex::Market - добавлена поддержка редиректа с cvredirect=1
* Maps::Google - улучшение Collect full region, добавлена опция OSM Mode и парсинг точки, добавлен новый собираемый результат $timestatus
* В SE::Yahoo добавлена возможность парсить рекламную выдачу
* Добавлена переменная $data в Telegram::GroupScraper
* SE::Bing - обновлены регионы и языки
* JS парсеры: добавлена возможность делать запросы к другим парсерам в пакетном режиме

Исправления в связи с изменениями в выдаче
* В SE::Google исправлен сбор $corrected и $misspell
* Частично исправлена работа SE::Bing, на данный момент все еще могут наблюдаться проблемы в некоторых случаях
* Исправлена работа всех парсеров Ahrefs
* Исправлена регистрация Яндекс аккаунтов через Chrome ( SE::Yandex::Register)
* В парсерах SE::Google::KeywordPlanner::* исправлена авторизация по cookie
* Shop::Yandex::Market, SE::Ask, Check::RosKomNadzor, Shop::Wildberries::ProductInfo

Исправления
* Исправлена ошибка при объявлении JS модуля в $tools.js


Рисунок


Рисунок
Рисунок

Скидка 10% на покупки с оплатой USDT TRC20

При оплате A-Parser и других продуктов или услуг у нас, вы получаете возможность приобрести их со скидкой 10% – оплачивая через USDT TRC20!

1. Переходите на сайт A-Parser
2. Выбирайте подходящий продукт или услугу
3. Оплачивайте через USDT TRC20 и получите 10% скидку

Предложение действует ограниченное время!

Если у вас возникли вопросы или вам нужна дополнительная информация, наша команда поддержки всегда готова помочь. Свяжитесь с нами для получения консультации.

Сборник рецептов #58: обработка текстов с помощью ИИ, цены на крипту, поиск сообщений в ТГ-каналах

58-й сборник рецептов, в котором собраны: парсер для сервиса по обработке текстов с помощью ИИ (перефразирование, резюмирование...), парсер для проверки цен на криптовалюты с возможностью выбора из 5 бирж, а также парсер для поиска сообщений по ключевым словам в Telegram каналах.

NeuralWriter - перефразирование, генератор промптов, резюмирование

Парсер сервиса neuralwriter.com. С его помощью можно перефразировать текст (включая перевод на нужный язык), сформировать краткое резюме для большого текста, а также генерировать промпты для моделей ChatGPT и GPT. Парсер имеет возможность читать тексты из файлов.

Рисунок


CryptoExchanges - одновременная проверка цены на криптовалюту на нескольких биржах

Парсер, позволяющий одновременно проверить цену на нескольких крипто биржах по тикеру. Поддерживается 5 бирж.

Рисунок


Парсер поиска Телеграм постов по ключевым словам с tgdev.io/tme

Возможность парсить сообщения из Telegram каналов по ключевым словам. Собираются дата поста, ссылка на пост и его текст.

Рисунок



Еще больше различных рецептов в нашем Каталоге!
Предлагайте ваши идеи для новых парсеров здесь, лучшие будут реализованы и опубликованы.

Подписывайтесь на наш канал на Youtube - там регулярно выкладываются видео с примерами использования A-Parser, а также следите за новостями в Twitter.

Все сборники рецептов

Рисунок


Рисунок
Обновленные пресеты в каталоге A-Parser

Обновление пресетов в Каталоге примеров A-Parser

Парсинг вопросов и ответов из выдачи Bing

Пресет для сбора вопросов и ответов из поисковой выдачи Bing. Используется стандартный парсер SE::Bing, в результат выводятся вопросы и ответы на них.
* Обновлено регулярное выражение в связи с изменениями в выдаче

Парсим Google новости с датой и преобразуем ее

Пример парсинга Google новостей с датой и преобразованием ее к одному формату
* Обновление в связи с изменениями в выдаче

Периодический мониторинг цен с уведомлением в Telegram

В качестве запросов принимаются ссылки на товары, а в результате формируется таблица и отправляются сообщения в подключенный чат Telegram. Детальное описание в статье: https://a-parser.com/resources/367/
* Обновлены сайты примеров

Парсер подсказок Яндекс.Маркет

Парсинг подсказок Яндекс.Маркет с частотой и категориями
* Парсер переписан на JS API v2
* Исправлена работа с каптчами (полностью наследуется из SE::Yandex)
* Исправлено регулярное выражение для хлебных крошек

Скачивание картинок

Пример скачивания картинок с определением их размеров
* Парсер переписан на JS API v2
* Оптимизированы импорты
* Добавлена возможность сортировать картинки по каталогам в зависимости от ориентации
* Добавлена возможность фильтровать картинки по размеру файла

Парсер Github

Парсер поиска по репозиториям на Github по ключевому слову
* Парсер полностью переписан с использованием JS API v2 и адаптацией к изменениям на источнике

Еще больше различных парсеров и пресетов в нашем Каталоге!
Присылайте свои идеи для новых парсеров сюда, самые интересные и востребованные мы обязательно реализуем!


Рисунок


Рисунок
Изменено: A-Parser Support - 9 Сентября 2023 04:01
Видео урок: Сбор WordPress сайтов

Новый видео урок по работе с A-Parser от DIM STUDIO в котором показан один из вариантов сбора сайтов на движке Wordpress.

Загрузка плеера


Плейлист со всеми видео уроками от DIM STUDIO

Оставляйте комментарии и подписывайтесь на наши каналы на YouTube: A-Parser и DIM STUDIO!

Рисунок

Рисунок
1.2.2062 - парсер профилей Tiktok, поддержка click каптч Яндекса, улучшения и исправления

Рисунок


Улучшения
* Добавлен парсер Social::TikTok::Profile
* SE::Yandex - добавлен парсинг быстрых ответов
* Добавлена поддержка новых каптч Яндекса (click captcha) в парсерах SE::Yandex::ByImage, SE::Yandex::Images, SE::Yandex::SQI, Shop::Yandex::Market
* В Util::AntiGate изменился набор доступных опций, подробнее здесь
* В SE::Yandex добавлена опция AntiGate preset for old captcha. С ее помощью можно выбрать пресет антигейта для обычных (старых, в виде одной картинки) каптч. Рекомендации по парсингу Яндекса описаны тут.
* В SE::Yandex::Translate добавлена возможность подключать разгадывание каптч
* В SE::Bing улучшена скорость, уменьшено количество ошибок Short output, добавлены сессии
* В SE::YouTube добавлена опция Advanced filters (param sp=), с помощью которой можно указать сложные комбинации фильтров
* Rank::KeysSo - добавлена возможность парсить с авторизацией, актуализированы собираемые данные
* В парсерах OpenAI добавлена возможность указывать несколько API ключей
* Парсеры WordStat: адаптация к изменениям в авторизации, максимальное кол-во страниц увеличено до 50
* JS парсеры: добавлена опция skipProxySettingsInheritance для parser.request()

Исправления в связи с изменениями в выдаче
* SE::Google - исправлен парсинг PAA, парсинг выдачи адаптирован к изменениям в верстке
* SE::Yandex - адаптация к изменениям в верстке
* Исправлен Safe search в SE::Google::Images, SE::Google
* Исправлено авторазгадывание Turnstile (опция Provider=Auto (using Chrome) в Util::Turnstile)
* Исправлен проход по страницам в SE::Yahoo
* В SE::YouTube исправлена работа всех фильтров, исправлен парсинг мобильной выдачи
* Maps::Google, SE::YouTube, SE::Yahoo - исправлен обход соглашения с политикой кук
* SE::Google::ByImage, SE::Dogpile, SE::DuckDuckGo

Исправления
* Исправлена работа HTML::EmailExtractor в некоторых случаях
* Исправлен обход CF в Net::HTTP при Engine=HTTP
* Исправлена работа SE::Google::Translate при Device=Desktop
* Исправлены ошибки в работе SecurityTrails::Domain, Cloudflare::Radar, Rank::MOZ, Rank::CMS, Net::Whois
* Устранены падения при использовании прокси из отключенного проксичекера


Рисунок

Рисунок
Сборник рецептов #59: дни рождения из FB в Google Calendar, парсер Checktrust и Yahoo Finance

59-й сборник рецептов, в котором собраны парсер для экспорта дней рождений друзей в Google календарь; парсер сервиса проверки качества сайтов Checktrust; парсер Yahoo Finance.

Экспорт дней рождений из Facebook в Google календарь
Данный парсер позволяет спарсить список дней рождения своих друзей на Facebook и сгенерировать файл, готовый для импорта в Google Calendar.
Рисунок


Yahoo Finance
Yahoo Finance - фондовый рынок в реальном времени, котировки.
Рисунок


Парсер checktrust.ru
Парсер сервиса проверки качества сайтов Checktrust. Позволяет собрать все возвращаемые показатели, для примера реализован вывод данных в 3-х различных форматах.
Рисунок



Еще больше различных рецептов в нашем Каталоге!

Предлагайте ваши идеи для новых парсеров здесь, лучшие будут реализованы и опубликованы.

Подписывайтесь на наш канал на Youtube - там регулярно выкладываются видео с примерами использования A-Parser, а также следите за новостями в Twitter.

Все сборники рецептов


Рисунок


Рисунок
Видео урок: Поиск статей внутри сайта

Новый видео урок по работе с A-Parser от DIM STUDIO в котором показан способ поиска статей внутри сайта с использованием 2-х встроенных парсеров.

Рисунок


Плейлист со всеми видео уроками от DIM STUDIO

Оставляйте комментарии и подписывайтесь на наши каналы на YouTube: A-Parser и DIM STUDIO!

Рисунок


Рисунок
Изменено: A-Parser Support - 20 Октября 2023 19:12
Обновленные пресеты в каталоге A-Parser

Обновление пресетов в Каталоге примеров A-Parser

Валидатор емайлов
Проверка существования e-mail адресов
* Добавлена поддержка protonmail (proton.me, protonmail.com)
* Добавлена поддержка tutanota (tutanota.com, tutanota.de, tutamail.com, tuta.io, keemail.me)
* Парсер переписан на JS API v2

JS::Yandex::LangDetect
Определение языка страницы через Яндекс Переводчик
* Парсер переписан на JS API v2 (TypeScript)
* Добавлена поддержка каптч (наследуется от SE::Yandex)
* Добавлен выбор пресета настроек HTML::TextExtractor
* Адаптация к изменениям на источнике

JS::Yandex::LangDetect::Key
Определение языка ключевого слова через Яндекс Переводчик
* Парсер переписан на JS API v2 (TypeScript)
* Парсер наследует JS::Yandex::LangDetect

Core Web Vitals
Отчет о скорости сайта
* Обновление в связи с изменениями в выдаче

Еще больше различных парсеров и пресетов в нашем Каталоге!
Присылайте свои идеи для новых парсеров сюда, самые интересные и востребованные мы обязательно реализуем!


Рисунок
Рисунок
1.2.2106 - обновленный SE::Rambler, лимит при парсинге в глубину в LinkExtractor и другие улучшения

Рисунок


Улучшения
* В HTML::LinkExtractor добавлена возможность указания лимита количества ссылок при парсинге в глубину
* В Util::AntiGate добавлена поддержка Capsola, capmonster.cloud
* В Util::Turnstile добавлена поддержка captcha.guru
* В Rank::MajesticSEO добавлена возможность указывать собственные юзер-агенты для повышения успешности парсинга
* В парсерах Rank::Ahrefs::* добавлена экспериментальная опция Do not search for sitekey, которая отключает поиск sitekey, что в свою очередь ускоряет запуск задания
* SE::Rambler полностью переписан:[list]* обновлен список языков
* добавлена возможность указывать регион
* добавлен выбор десктопной или мобильной выдачи
* обновлена работа с каптчами
* JS парсеры: добавлена поддержка тегов для сессий

Исправления в связи с изменениями в выдаче
* SE::Bing - уменьшено кол-во ошибок Short output detected
* Адаптация к изменениям в верстке для SE::Google и SE::Yandex
* Исправлен сбор flat переменных в Social::Instagram::post
* Исправлен сбор $location в Social::Instagram::profile
* Исправлен поиск sitekey в Rank::Ahrefs::*
* Исправлена работа SE::YouTube при Result type = Movie
* Исправлен сбор $author_link в GooglePlay::Apps
* SE::Bing::position, SE::Google::ByImage, SE::DuckDuckGo, SE::Google::Images, Shop::Wildberries::productInfo

Исправления
* Исправлены ошибка в Rank::CMS, из-за которой в некоторых случаях он не работал
* Исправлена ошибка использования SE::Yahoo через Redis API
* Исправлена работа SE::YouTube при запросах из JS парсеров
* Исправлена работа Net::Whois с доменами .se
* Исправлено ошибочное определение запроса неудачным в Shop::eBay
* Исправлено заполнение результатов в Rank::KeysSo

Рисунок

Рисунок
Сборник рецептов #60: товары на Walmart, проверка e-mail и доступность доменов

60-й сборник рецептов, в котором подобраны: парсер товаров Walmart, парсер для проверки e-mail и парсер для проверки доступности доменов через сервис Pananames

Парсер товаров walmart.com

Сбор товаров по ключевым словам на торговой площадке walmart.com с возможностью задать количество страниц результатов и выводом результатов в CSV таблицу

Рисунок


Парсер для проверки e-mail

Парсер для проверки адресов электронных почт на валидность, доставляемость и прочие параметры через сервис Email Verification API

Рисунок


Pananames - доступность, цена домена

Парсер, позволяющий проверить доступен ли домен и его цену с использованием сервиса Pananames

Рисунок



Еще больше различных рецептов в нашем Каталоге!
Предлагайте ваши идеи для новых парсеров здесь, лучшие будут реализованы и опубликованы.

Подписывайтесь на наш канал на Youtube - там регулярно выкладываются видео с примерами использования A-Parser, а также следите за новостями в Twitter.

Все сборники рецептов

Рисунок


Рисунок
Обновленные пресеты в каталоге A-Parser + новый парсер тегов из сервиса Rapidtags

Обновление пресетов в Каталоге примеров A-Parser

Парсер переводчика Reverso
Переводчик текста через сервис reverso.net
* Исправлена ошибка при отсутствующих $examples или $variants
* Поправлено логирование

JS::MailValidator
Проверка существования e-mail адресов
* Исправлена проверка почт на protonmail

Сокращатель ссылок
Парсер для массового сокращения ссылок с возможностью выбирать используемый сервис
* Удалены неработающие сервисы (cleanuri.com, gotiny.cc, shrtco.de)
* Добавлено 2 новых сервиса: gg.gg и urlshort.dev

Парсер тегов для YouTube и TikTok из сервиса Rapidtags
Новый пример в Каталоге: пресет для сбора тегов для YouTube и TikTok из сервиса Rapidtags.io.
* можно задать тип: YouTube или TikTok
* в качестве запросов можно использовать ключевые слова или ссылки на видео на Youtube

Еще больше различных парсеров и пресетов в нашем Каталоге!
Присылайте свои идеи для новых парсеров сюда, самые интересные и востребованные мы обязательно реализуем!


Рисунок

Рисунок
Видео урок: сбор контактов организаций из Google Maps

Новый видео урок по работе с A-Parser от DIM STUDIO в котором показан способ сбора контактов организаций по ключевым словам из заданного участка Google карт.

Рисунок


Плейлист со всеми видео уроками от DIM STUDIO

Оставляйте комментарии и подписывайтесь на наши каналы на YouTube: A-Parser и DIM STUDIO!

Рисунок


Рисунок
Страницы: Пред. 1 ... 8 9 10 11 12 След.
Похожие темы:
Читают тему (гостей: 1, пользователей: 0, из них скрытых: 0)
Новые темыОбъявленияСвободное общение
18:51 Webvork - международная товарная СРА сеть с сертифицированными офферами на Европу. 
14:46 Яндекс.Фильтры 
13:08 К лету готов? АПдейт Яндекс выдача 29 мая 2024 
22:17 А ты жарил? АПдейт Яндекс выдача 11 мая 2024 
19:21 Кто как борется с ботами ПФ? 
14:58 Adtrafico - Правильная партнёрская сеть под бурж трафик 
09:36 Сайт не реагирует на изменения в CSS 
07:01 Заказать отзывы, купить отзывы. 
07:00 Накрутка ПФ для любых сайтов. Быстрый результат 
20:20 - Вечные ссылки с трастовых сайтов 2024 проверен FastTrust 
16:24 Burzh.top|Партнерская программа под любой вид трафика (email, спам, УБТ) 
13:54 Ural-obmen.ru — выгодный сервис обмена 
13:08 Obama.ru - безопасный обмен криптовалют и электронных денежных средств 
12:45 PROXY5.ru — Анонимные прокси дешево / IPv4 на 30 дней от 5$ 
23:22 Калифорния легализует компостирование людей к 2027 году 
19:23 Ням-ням! - 8 деликатесов, которые когда-то ели только бедные люди 
16:05 Популярный сократитель заблокирован? 
15:12 Точные прогнозы на футбол 
20:26 Ваше мнение о видео играх 
15:07 Куплю проигрышные букмекерские аккаунты 
10:31 ⭐️ Заработок до 500к/мес на БОНУСАХ ⭐️