Надо с сервака парсить сайт один с разных IP

Сообщений: 22228 Регистрация: Май 2011

26 Февраля 2017 10:38

Т.е. вот у меня VPS, вот у меня юзверь, под ним домен, под домен отдельный IP. Я хочу читать данные с одного из сайтов с периодичностью 2-5 тысяч запросов в сутки. Само собой, меня довольно быстро по IP домена (откуда пойдут обращения) вычислят и забанят IP. Вопрос: как организовать парсинг с сайта (сайтов) с разных IP? Т.е. как пользовать proxy c задачи php?

Изменено: Eye - 26 Февраля 2017 10:39

Мы не можем похвастаться мудростью глаз
И умелыми жестами рук,
Нам не нужно все это, чтобы друг друга понять.
Сигареты в руках, чай на столе - так замыкается круг,
И вдруг нам становится страшно что-то менять.

MrLexKo

Сообщений: 681 Регистрация: Май 2011

26 Февраля 2017 12:04

К vps можно подключить дополнительные ip, к примеру штук 5-10.
Парсинг осуществлять с помощью библиотеки cURL.
Скрипт парсинга пусть использует два txt файла, рандомно берет из одного файла ip для выхода в сеть из друго файла рандомно user-agent. Еще в скрипте refferer тоже можно подставлять.

И еще очень важный момент, не важно какой ip адрес прикреплен к домену. Да, домен откликается по этому ip, но скрипты которые работают на нем в сеть выходят по основному ip вашего сервера.
А через curl можно парсить с любого ip прикрепленного к vps/vds.

*Хостинг и домены. Скидка по промокоду - 34A0-15CA-735C-335A

Eye

Сообщений: 22228 Регистрация: Май 2011

27 Февраля 2017 00:23

Цитата

MrLexKo пишет:
И еще очень важный момент, не важно какой ip адрес прикреплен к домену. Да, домен откликается по этому ip, но скрипты которые работают на нем в сеть выходят по основному ip вашего сервера.
А через curl можно парсить с любого ip прикрепленного к vps/vds.

Спасибо.

Новые темы	Объявления	Свободное общение
23:10 Dao.AD: Монетизация и покупка Push/Pops/Inpage и Video трафика! 21:20 Rotapost прикрыли! Чем пользоваться? 00:23 Раскрутка форума 00:19 Продвижение по ключам 17:40 LOSPOLLOS.COM - Конвертим по рецепту Хайзенберга. Dating, Mainstream, Binary Options 14:07 2Index - быстрая индексация страниц сайта и обратных ссылок 12:02 Webvork - международная товарная СРА сеть с сертифицированными офферами на Европу.	16:25 Бустмаркет 10:38 GhostRocket.pro — Взлетаем в новую эру криптообмена! 09:59 BestChange – обменивать электронную валюту можно быстро и выгодно 08:37 Swapper.ws - Обмен криптовалют. Быстро, выгодно, круглосуточно. 08:36 HH.ru Работадателя вериф 05:29 ProxyWins.com - 15% по промо-коду "venividivici" 04:07 Просто $0.04/IP 9PROXY.COM Резидентные прокси Неограниченная пропускная способность Уникальная политика замены Без чёрного списка	16:49 monetizer.agency – рекламная сеть для взрослого и развлекательного трафика. 100$ новому вебмастеру 20:43 Добро пожаловать в цифровой мир... 15:59 Про мясо 23:09 ПП от PMS remote.team - 200$ за команду 13:28 Компьютерная мышь 22:55 Ну что, кто куда деваете свои сайты? 22:34 Используете беспроводные наушники?

Новые темы

Объявления

Свободное общение

23:10 Dao.AD: Монетизация и покупка Push/Pops/Inpage и Video трафика!
21:20 Rotapost прикрыли! Чем пользоваться?
00:23 Раскрутка форума
00:19 Продвижение по ключам
17:40 LOSPOLLOS.COM - Конвертим по рецепту Хайзенберга. Dating, Mainstream, Binary Options
14:07 2Index - быстрая индексация страниц сайта и обратных ссылок
12:02 Webvork - международная товарная СРА сеть с сертифицированными офферами на Европу.

16:25 Бустмаркет
10:38 GhostRocket.pro — Взлетаем в новую эру криптообмена!
09:59 BestChange – обменивать электронную валюту можно быстро и выгодно
08:37 Swapper.ws - Обмен криптовалют. Быстро, выгодно, круглосуточно.
08:36 HH.ru Работадателя вериф
05:29 ProxyWins.com - 15% по промо-коду "venividivici"
04:07 Просто $0.04/IP 9PROXY.COM Резидентные прокси Неограниченная пропускная способность Уникальная политика замены Без чёрного списка

16:49 monetizer.agency – рекламная сеть для взрослого и развлекательного трафика. 100$ новому вебмастеру
20:43 Добро пожаловать в цифровой мир...
15:59 Про мясо
23:09 ПП от PMS remote.team - 200$ за команду
13:28 Компьютерная мышь
22:55 Ну что, кто куда деваете свои сайты?
22:34 Используете беспроводные наушники?

04.08.2025 10:53	Эскорт сервис надо продвинуть по буржу
27.03.2025 08:04	Теперь казино скажет тебе: «Мужик, не надо, подумай о семье!»
18.01.2021 06:40	Для чего надо учиться?
08.07.2019 10:23	Ну очень срочно надо продать сайт
05.03.2019 09:21	Надоедливые брутфорсеры