Заперт Feedfetcher-Google

cyber.php.bot

Сообщений: 241 Регистрация: Май 2011

27 Января 2015 00:45

Борьба с Feedfetcher-Google
в robots.txt изначально было:

User-agent: Feedfetcher-Google
Disallow: /

Прикрепленные файлы

screen_stat.jpg (130.34 КБ) [ Скачать ]

Партнерская программа AliExpress - подходит для всех видов трафика!

Лучший Хостинг - под любые проекты

cyber.php.bot Сообщений: 241 Регистрация: Май 2011	#2 27 Января 2015 00:48 *скрин самописной статы, перед началом индексации сайта был создан robots.txtисходя из логики, перед индексацией бот должен смотреть на содержание robots.txt, так что факт игнорирования правила в robots.txt на лицо!

Читают тему (гостей: 1, пользователей: 0, из них скрытых: 0)

Новые темы	Объявления	Свободное общение
19:55 SEO под нейро 18:04 Нужна помощь советом! 16:56 Webvork - международная товарная СРА сеть с сертифицированными офферами на Европу. 14:47 Dao.AD: Монетизация и покупка Push/Pops/Inpage и Video трафика! 14:23 SharkBoss - партнёрская программа для монетизации ЛЮБЫХ видов трафика (включая спам). 09:44 SEO 2025 - контент, уже не главное. Главное - Конечная цель... 06:06 Яндекс прекращает поддержку технологии Турбо	04:05 Просто $0.04/IP 9PROXY.COM Резидентные прокси Неограниченная пропускная способность Уникальная политика замены Без чёрного списка 21:18 TETChange-Обменник криптовалют 14:49 Продам копию сайта. 12:38 Продам аккаунты Gmail USA IP \| Gmail MIX IP \| Outlook Old 10:48 Обменник криптовалюты OnlyCrypto 22:20 BestX24 - быстрый и безопасный обменник криптовалют и электронных денежных средств 19:20 Продам аккаунты HH.RU	14:58 150+ хакерских поисковых систем и инструментов 17:18 Точные прогнозы на футбол 17:41 Стряхнуть обыденность - об Агасфере 10:54 Добро пожаловать в цифровой мир... 22:39 Топ-5 способов использовать мобильные прокси для бизнеса: подробный обзор 11:58 Куплю проигрышные букмекерские аккаунты 00:12 Огородники

Вверх