Надо с сервака парсить сайт один с разных IP

Сообщений: 22504 Регистрация: Май 2011

26 Февраля 2017 10:38

Т.е. вот у меня VPS, вот у меня юзверь, под ним домен, под домен отдельный IP. Я хочу читать данные с одного из сайтов с периодичностью 2-5 тысяч запросов в сутки. Само собой, меня довольно быстро по IP домена (откуда пойдут обращения) вычислят и забанят IP. Вопрос: как организовать парсинг с сайта (сайтов) с разных IP? Т.е. как пользовать proxy c задачи php?

Изменено: Eye - 26 Февраля 2017 10:39

Мы не можем похвастаться мудростью глаз
И умелыми жестами рук,
Нам не нужно все это, чтобы друг друга понять.
Сигареты в руках, чай на столе - так замыкается круг,
И вдруг нам становится страшно что-то менять.

MrLexKo

Сообщений: 681 Регистрация: Май 2011

26 Февраля 2017 12:04

К vps можно подключить дополнительные ip, к примеру штук 5-10.
Парсинг осуществлять с помощью библиотеки cURL.
Скрипт парсинга пусть использует два txt файла, рандомно берет из одного файла ip для выхода в сеть из друго файла рандомно user-agent. Еще в скрипте refferer тоже можно подставлять.

И еще очень важный момент, не важно какой ip адрес прикреплен к домену. Да, домен откликается по этому ip, но скрипты которые работают на нем в сеть выходят по основному ip вашего сервера.
А через curl можно парсить с любого ip прикрепленного к vps/vds.

*Хостинг и домены. Скидка по промокоду - 34A0-15CA-735C-335A

Eye

Сообщений: 22504 Регистрация: Май 2011

27 Февраля 2017 00:23

Цитата

MrLexKo пишет:
И еще очень важный момент, не важно какой ip адрес прикреплен к домену. Да, домен откликается по этому ip, но скрипты которые работают на нем в сеть выходят по основному ip вашего сервера.
А через curl можно парсить с любого ip прикрепленного к vps/vds.

Спасибо.

Новые темы	Объявления	Свободное общение
16:04 LGaming - экосистема и партнерская программа в gambling и betting вертикалях 11:48 Google - шантажист, а Cloudflare - не спаситель. Как не отлететь в бан 11:47 Старые кости или свежее мясо? Как нагнуть старичка в серпе за один год 11:45 10.02 Яндекс штормит, а Google лезет в долги: 15 миллиардов на железки для ИИ 20:18 ЕС душит ТикТок: прощай бесконечная лента и RPM? Что с монетизацией? 20:14 Гугл пухнет от кеша, а нам - крошки. Разбор $114 млрд: Адсенс в минусе, Ютуб на подписках 20:11 01.02. Апдейт 31.01 // Chrome готовит "чёрную метку" для ИИ?	20:15 Nexulume.com Обменник без AML и KYC 17:47 Продажа аккаунтов HH.RU 17:06 - Вечные ссылки с трастовых сайтов 2024 проверен FastTrust 16:53 Мобильные и Резидентные Прокси Для Соц Сетей \| 3 Гб Бесплатно 12:59 Mixmasters - Exchange without AML and KYC 09:05 Swapwatch.org — Мониторинг криптовалютных обменников 08:45 GhostRocket.pro — Взлетаем в новую эру криптообмена!	21:50 Кулеры и БП станут золотыми? Медь по 13 штук, олово в космосе 21:25 блокировка youtube 2026: ркн начинает «выдавливание». кто уже пробовал вк видео? 20:54 Туалетные секреты: Замурчательная тема 17:44 [AI] Бот за $600к советовал есть сыр с крысами. Нью-Йорк его (наконец-то) снес 15:24 Сайты Рунета 15:22 Moltbook: Соцсеть для ботов, где людям закрыли рот. Началось? 03:45 Гильотина для классиков: Клод доедает физические книги

Новые темы

Объявления

Свободное общение

16:04 LGaming - экосистема и партнерская программа в gambling и betting вертикалях
11:48 Google - шантажист, а Cloudflare - не спаситель. Как не отлететь в бан
11:47 Старые кости или свежее мясо? Как нагнуть старичка в серпе за один год
11:45 10.02 Яндекс штормит, а Google лезет в долги: 15 миллиардов на железки для ИИ
20:18 ЕС душит ТикТок: прощай бесконечная лента и RPM? Что с монетизацией?
20:14 Гугл пухнет от кеша, а нам - крошки. Разбор $114 млрд: Адсенс в минусе, Ютуб на подписках
20:11 01.02. Апдейт 31.01 // Chrome готовит "чёрную метку" для ИИ?

20:15 Nexulume.com Обменник без AML и KYC
17:47 Продажа аккаунтов HH.RU
17:06 - Вечные ссылки с трастовых сайтов 2024 проверен FastTrust
16:53 Мобильные и Резидентные Прокси Для Соц Сетей | 3 Гб Бесплатно
12:59 Mixmasters - Exchange without AML and KYC
09:05 Swapwatch.org — Мониторинг криптовалютных обменников
08:45 GhostRocket.pro — Взлетаем в новую эру криптообмена!

21:50 Кулеры и БП станут золотыми? Медь по 13 штук, олово в космосе
21:25 блокировка youtube 2026: ркн начинает «выдавливание». кто уже пробовал вк видео?
20:54 Туалетные секреты: Замурчательная тема
17:44 [AI] Бот за $600к советовал есть сыр с крысами. Нью-Йорк его (наконец-то) снес
15:24 Сайты Рунета
15:22 Moltbook: Соцсеть для ботов, где людям закрыли рот. Началось?
03:45 Гильотина для классиков: Клод доедает физические книги

04.08.2025 10:53	Эскорт сервис надо продвинуть по буржу
27.03.2025 08:04	Теперь казино скажет тебе: «Мужик, не надо, подумай о семье!»
18.01.2021 06:40	Для чего надо учиться?
08.07.2019 10:23	Ну очень срочно надо продать сайт
05.03.2019 09:21	Надоедливые брутфорсеры