Robots.txt
Страницы: 1
Robots.txt, ....
Гугл жрёт даже то, что закрыто на индексацию в robots.txt
В общем у меня DLE 9.2 Null, поставил что-то типа модуля замазки ссылок:
До:
Рисунок

После:
Рисунок

А вот собственно робот.txt:
Рисунок

Красным отмечена та область которая не нужна мне в индексе.
Так выглядит этот переход (примерно): http://название.ру/engine/dude/index/leech_out.php?тут был зашифрованный код ссылки....
А вот ссылки в гугл поиске:
Рисунок

И продолжает их брать smile:(..
Кто, что посоветует?
Если, что сайт для ознакомления в подписи.
Изменено: Pash - 21 Апреля 2011 12:09
Имеешь трафик 1-2к в сутки? Конвертируй его в 100-150р в сутки стабильно с тизеркой.

Бесплатная контекстная реклама

То, что красным... зачем это? Если уже есть Disallow: /engine/. Можно еще * после слеша поставить, хотя не обязательно. И жди - робот не в первый же день перечитает новый robots.
По самому сайту: ссылки в короткой новости - это вызов всем роботам smile:rolleyes:
Вот тут ошибочка похоже:
Код
Disallow: /engine/dude/index/leech_out.php?*

А нужно:
Код
Disallow: /engine/dude/index/leech_out.php?=*
Цитата
Miss Belka пишет:
Disallow: /engine/dude/index/leech_out.php?=*

Зачем так все усложнять
Код
Disallow: /engine/

и весь каталог engine запрещен, его в dle и не надо индексировать
Изменено: Lazun429 - 21 Апреля 2011 15:50
Цитата
abyss-by пишет:
ссылки в короткой новости - это вызов всем роботам

Что за вызов? Можно по подробней?
Цитата
Lazun429 пишет:
Цитата
Miss Belka пишет:
Disallow: /engine/dude/index/leech_out.php?=*

Зачем так все усложнять
Код
Disallow: /engine/

и весь каталог engine запрещен, его в dle и не надо индексировать


Это понятно. Просто подумалось, глядя на выложенный robots.txt, что в этом каталоге engine могут быть еще какие-то элементы, которые нужно индексировать, а именно к leech_out.php желательно закрыть доступ. В этом случае в оригинале ошибочка.
Страницы: 1
Похожие темы:
Читают тему (гостей: 1, пользователей: 0, из них скрытых: 0)
Новые темыОбъявленияСвободное общение
07:45 24 июля текстовый апдейт Яндекса: индекс по 21 июля 
07:32 внедрить код в страницу WordPress 
04:48 Подскажите хостинг с нормальной защитой от DDOS 
23:07 Аптейт тИЦ от 17 мая 2017 года 
23:00 Заказал прогон: получил некачественные ссылки 
22:54 Интернет магазин с частой сменой товара 
22:32 10 июля текстовый апдейт Яндекса: выложен индекс по 6 июля 
01:36 Продам ссылки с английских сайтов для взрослых 
01:36 Вывод в ТОП Google. 30 вечных ссылок с PR9 
00:42 [Бесплатный тест] Airsocks. Инновационные 4G / LTE прокси. Забудь все что было раньше! 
21:10 Комплексная раскрутка сайтов. Качественные услуги, прогоны и прочее. (3000+ отзывов) 
21:06 Сервис услуг в YouTube, Вконтакте, Instagram, Twitter, Facebook, Одноклассники, Google+ 
20:17 [Обмен] Покупка/Продажа/Вывод Webmoney,Qiwi,BTC-E, Яндекс Деньги,Сбербанк,Альфа,Беларусбанк,Открытие,Easypay 
15:03 200 открытых анкорных ссылок всего за 100 рублей 
00:37 Бесплатная графика! 
23:29 Какой фильм посмотреть сегодня вечером? 
23:17 Велотренажёр дома? 
23:07 Новости смотрели ? Предприниматели с 14 лет 
20:30 Как заменить в БД теги заголовков 
19:05 0.0006 BTC в сутки за регистрацию 
16:48 Поднять позиции в Google