Надо с сервака парсить сайт один с разных IP

Сообщений: 22792 Регистрация: Май 2011

26 Февраля 2017 10:38

Т.е. вот у меня VPS, вот у меня юзверь, под ним домен, под домен отдельный IP. Я хочу читать данные с одного из сайтов с периодичностью 2-5 тысяч запросов в сутки. Само собой, меня довольно быстро по IP домена (откуда пойдут обращения) вычислят и забанят IP. Вопрос: как организовать парсинг с сайта (сайтов) с разных IP? Т.е. как пользовать proxy c задачи php?

Изменено: Eye - 26 Февраля 2017 10:39

Мы не можем похвастаться мудростью глаз
И умелыми жестами рук,
Нам не нужно все это, чтобы друг друга понять.
Сигареты в руках, чай на столе - так замыкается круг,
И вдруг нам становится страшно что-то менять.

MrLexKo

Сообщений: 681 Регистрация: Май 2011

26 Февраля 2017 12:04

К vps можно подключить дополнительные ip, к примеру штук 5-10.
Парсинг осуществлять с помощью библиотеки cURL.
Скрипт парсинга пусть использует два txt файла, рандомно берет из одного файла ip для выхода в сеть из друго файла рандомно user-agent. Еще в скрипте refferer тоже можно подставлять.

И еще очень важный момент, не важно какой ip адрес прикреплен к домену. Да, домен откликается по этому ip, но скрипты которые работают на нем в сеть выходят по основному ip вашего сервера.
А через curl можно парсить с любого ip прикрепленного к vps/vds.

*Хостинг и домены. Скидка по промокоду - 34A0-15CA-735C-335A

Eye

Сообщений: 22792 Регистрация: Май 2011

27 Февраля 2017 00:23

Цитата

MrLexKo пишет:
И еще очень важный момент, не важно какой ip адрес прикреплен к домену. Да, домен откликается по этому ip, но скрипты которые работают на нем в сеть выходят по основному ip вашего сервера.
А через curl можно парсить с любого ip прикрепленного к vps/vds.

Спасибо.

Новые темы	Объявления	Свободное общение
16:35 Бесплатное расширение для Chrome — проверка ссылок прямо на странице 13:23 Рост эффективности моего интернет‑магазина 11:31 AI под надзором. Минцифры готовят клеймо для контента 21:08 Adsense личный опыт 18:19 Яндекс Нейро и выдача в 2026 - остались ли лазейки для маленьких сайтов? 18:16 С чего сейчас проще начать? 08:29 Бесплатное получение бэклинков	16:33 Продам сайт Домен РУ RU РФ c доменом www.доменру.рф 14:20 Продам базу данных предприятий Украины, России, Великобритании, Германии, Испании, Италии, Нидерландов, Польши, Франции, Швейцарии и др. 13:48 Мониторинг обменников Сrypto-scout.io 13:42 Продам аккаунты Gmail USA IP \| Gmail MIX IP \| Outlook Old 13:06 Чек номеров на наличие Telegram/ Filter (checking) numbers Telegram 11:55 Plata24: Быстрый обмен. Честный курс.  Полная безопасность. 11:46 BestChange – обменивать электронную валюту можно быстро и выгодно	16:51 молодильные яблоки и живая вода 16:28 8 марта: желаю аптайма 99.9% и e-e-a-t без локов 15:42 Голландцы влепили Grok по яйцам - теперь нельзя раздевать реальных людей, штраф 100к евро в день 22:06 Точные прогнозы на футбол 07:17 Почему не обновляется счетчик ИКС (индекса качества сайта) 06:50 Ставки на супер тренды в спорте 13:04 Gartner обещал смерть SEO к 2026 году. Открываем метрику и проверяем

Новые темы

Объявления

Свободное общение

16:35 Бесплатное расширение для Chrome — проверка ссылок прямо на странице
13:23 Рост эффективности моего интернет‑магазина
11:31 AI под надзором. Минцифры готовят клеймо для контента
21:08 Adsense личный опыт
18:19 Яндекс Нейро и выдача в 2026 - остались ли лазейки для маленьких сайтов?
18:16 С чего сейчас проще начать?
08:29 Бесплатное получение бэклинков

16:33 Продам сайт Домен РУ RU РФ c доменом www.доменру.рф
14:20 Продам базу данных предприятий Украины, России, Великобритании, Германии, Испании, Италии, Нидерландов, Польши, Франции, Швейцарии и др.
13:48 Мониторинг обменников Сrypto-scout.io
13:42 Продам аккаунты Gmail USA IP | Gmail MIX IP | Outlook Old
13:06 Чек номеров на наличие Telegram/ Filter (checking) numbers Telegram
11:55 Plata24: Быстрый обмен. Честный курс.  Полная безопасность.
11:46 BestChange – обменивать электронную валюту можно быстро и выгодно

16:51 молодильные яблоки и живая вода
16:28 8 марта: желаю аптайма 99.9% и e-e-a-t без локов
15:42 Голландцы влепили Grok по яйцам - теперь нельзя раздевать реальных людей, штраф 100к евро в день
22:06 Точные прогнозы на футбол
07:17 Почему не обновляется счетчик ИКС (индекса качества сайта)
06:50 Ставки на супер тренды в спорте
13:04 Gartner обещал смерть SEO к 2026 году. Открываем метрику и проверяем

04.08.2025 10:53	Эскорт сервис надо продвинуть по буржу
27.03.2025 08:04	Теперь казино скажет тебе: «Мужик, не надо, подумай о семье!»
18.01.2021 06:40	Для чего надо учиться?
08.07.2019 10:23	Ну очень срочно надо продать сайт
05.03.2019 09:21	Надоедливые брутфорсеры