Цитата |
---|
Zerzes пишет:
Можно еще проверять $_SERVER['HTTP_USER_AGENT'], например если юзер агент представляется как бот поисковика, то показывать ему обычный сайт, во всех остальных случаях выводить текст средствами javascript, грабберы не умеют его выполнять и следовательно текст не увидят. |
У вас какие то примитивные понятия о грабёрах. Есть такой мощный инструмент, как content downloader.
При наличии головы и прямых рук может справится с почти любой задачей, будь то javascript, ajax и т.д. Вы еще в css предложите выводить
CSS: .text:before {content: "fig vam"}
HTML: <p class="text"></p>
А про user agent проверить - смешно. Подменить не составит труда.
От грамотного грабера спасения нет!
Если сайт стоящий, спарсить весь не составит труда. Все ненужное удаляется. Делается обычно ночью, когда вы спите... А потом на автомате проверяются ссылки на главной (сами же и ставите, типо новое). Все автоматизировано, с последующим добавлением в свою базу и уже выводом на своем сайте. Делать ничего не надо.
Но тут вопрос этики. Спарсить малолетку - это как у ребенка отобрать конфетку. Не понимаю я этих уродов. Да и смысл?
Тут посмотрите примитивные методы борьбы:
http://alfa-content.ru/blog/kak-zashhitit-kontent-ot-vorovstva/
Цитата |
---|
Eye пишет:
классический клоакинг. Сайт сдохнет очень быстро. |
Не согласен. Прячу от бота таким образом на сайте ссылки вида регистрация, вход и т.д Чтоб слова не вошли, как ключевики.
А также социальные кнопки и прочий мусор, чтоб бот быстрее бегал. Только основной контент и перелинковка. Никаких санкций нет.