Robots.txt
Страницы: 1
Robots.txt, ....
Гугл жрёт даже то, что закрыто на индексацию в robots.txt
В общем у меня DLE 9.2 Null, поставил что-то типа модуля замазки ссылок:
До:
Рисунок

После:
Рисунок

А вот собственно робот.txt:
Рисунок

Красным отмечена та область которая не нужна мне в индексе.
Так выглядит этот переход (примерно): http://название.ру/engine/dude/index/leech_out.php?тут был зашифрованный код ссылки....
А вот ссылки в гугл поиске:
Рисунок

И продолжает их брать smile:(..
Кто, что посоветует?
Если, что сайт для ознакомления в подписи.
Изменено: Pash - 21 Апреля 2011 12:09
Имеешь трафик 1-2к в сутки? Конвертируй его в 100-150р в сутки стабильно с тизеркой.
То, что красным... зачем это? Если уже есть Disallow: /engine/. Можно еще * после слеша поставить, хотя не обязательно. И жди - робот не в первый же день перечитает новый robots.
По самому сайту: ссылки в короткой новости - это вызов всем роботам smile:rolleyes:
Вот тут ошибочка похоже:
Код
Disallow: /engine/dude/index/leech_out.php?*

А нужно:
Код
Disallow: /engine/dude/index/leech_out.php?=*
Цитата
Miss Belka пишет:
Disallow: /engine/dude/index/leech_out.php?=*

Зачем так все усложнять
Код
Disallow: /engine/

и весь каталог engine запрещен, его в dle и не надо индексировать
Изменено: Lazun429 - 21 Апреля 2011 15:50
Цитата
abyss-by пишет:
ссылки в короткой новости - это вызов всем роботам

Что за вызов? Можно по подробней?
Цитата
Lazun429 пишет:
Цитата
Miss Belka пишет:
Disallow: /engine/dude/index/leech_out.php?=*

Зачем так все усложнять
Код
Disallow: /engine/

и весь каталог engine запрещен, его в dle и не надо индексировать


Это понятно. Просто подумалось, глядя на выложенный robots.txt, что в этом каталоге engine могут быть еще какие-то элементы, которые нужно индексировать, а именно к leech_out.php желательно закрыть доступ. В этом случае в оригинале ошибочка.
Страницы: 1
Похожие темы:
Читают тему (гостей: 1, пользователей: 0, из них скрытых: 0)
Новые темыОбъявленияСвободное общение
21:17 Webvork - международная товарная СРА сеть с сертифицированными офферами на Европу. 
21:08 Влияет ли кодировка на индексацию позиции в поиске? 
19:48 Стоит ли добавлять сайт в Rambler топ 100? 
17:32 Dao.AD: Монетизация и покупка Push/Pops/Inpage и Video трафика! 
14:51 Adtrafico - Правильная партнёрская сеть под бурж трафик 
14:03 Партнерская программа OWNR WALLET 
11:59 2Index - быстрая индексация страниц сайта и обратных ссылок 
18:59 Сервис валидации e-mail баз 
18:37 Ural-obmen.ru — выгодный сервис обмена 
18:18 Obama.ru - безопасный обмен криптовалют и электронных денежных средств 
17:28 Мобильные и Резидентные Прокси Для Соц Сетей | 3 Гб Бесплатно 
11:00 SpeedyIndex - ускорение индексирования ссылок в Google. 100 ссылок в подарок. 
10:41 Coin Click.cc - Быстрый и надежный обмен электронных валют в два клика 
22:18 SwapPix.io - быстрый и безопасный обменник криптовалют. 
20:29 Точные прогнозы на футбол 
21:12 Каспкрски ОС 
22:58 У меня дикая просадка по РСЯ за последние 3 суток 
21:51 Linux - это максимальная свобода 
21:33 Ням-ням! - 8 деликатесов, которые когда-то ели только бедные люди 
14:38 Продажи российских компьютеров в РФ выросли вдвое 
12:29 Карпаты