Robots.txt
Страницы: 1
Robots.txt, ....
Гугл жрёт даже то, что закрыто на индексацию в robots.txt
В общем у меня DLE 9.2 Null, поставил что-то типа модуля замазки ссылок:
До:
Рисунок

После:
Рисунок

А вот собственно робот.txt:
Рисунок

Красным отмечена та область которая не нужна мне в индексе.
Так выглядит этот переход (примерно): http://название.ру/engine/dude/index/leech_out.php?тут был зашифрованный код ссылки....
А вот ссылки в гугл поиске:
Рисунок

И продолжает их брать smile:(..
Кто, что посоветует?
Если, что сайт для ознакомления в подписи.
Изменено: Pash - 21 Апреля 2011 12:09
Имеешь трафик 1-2к в сутки? Конвертируй его в 100-150р в сутки стабильно с тизеркой.

Прогон по твиттеру, постинг в 1500 аккунтов
Постинг в твиттер аккаунты, для ускорения индексации ваших сайтов, сателлитов, дорвеев.

То, что красным... зачем это? Если уже есть Disallow: /engine/. Можно еще * после слеша поставить, хотя не обязательно. И жди - робот не в первый же день перечитает новый robots.
По самому сайту: ссылки в короткой новости - это вызов всем роботам smile:rolleyes:
Вот тут ошибочка похоже:
Код
Disallow: /engine/dude/index/leech_out.php?*

А нужно:
Код
Disallow: /engine/dude/index/leech_out.php?=*
Цитата
Miss Belka пишет:
Disallow: /engine/dude/index/leech_out.php?=*

Зачем так все усложнять
Код
Disallow: /engine/

и весь каталог engine запрещен, его в dle и не надо индексировать
Изменено: Lazun429 - 21 Апреля 2011 15:50
Цитата
abyss-by пишет:
ссылки в короткой новости - это вызов всем роботам

Что за вызов? Можно по подробней?
Цитата
Lazun429 пишет:
Цитата
Miss Belka пишет:
Disallow: /engine/dude/index/leech_out.php?=*

Зачем так все усложнять
Код
Disallow: /engine/

и весь каталог engine запрещен, его в dle и не надо индексировать


Это понятно. Просто подумалось, глядя на выложенный robots.txt, что в этом каталоге engine могут быть еще какие-то элементы, которые нужно индексировать, а именно к leech_out.php желательно закрыть доступ. В этом случае в оригинале ошибочка.
Страницы: 1
Похожие темы:
Читают тему (гостей: 1, пользователей: 0, из них скрытых: 0)
Новые темыОбъявленияСвободное общение
02:35 Апдейт яндекс 20.01.2017 
02:34 Апдейт яндекс 24.01.2017 
00:52 Выдача Яндекс. Стремятся ребята к качественной выдаче. Как это понимать? 
00:31 Партнерская программа Сервиса 1PS.RU 
23:35 Можно ли отобразить группу ВК у себя на сайте 
23:27 SSL-сертификат Let's Encrypt 
22:34 ClickTimes.ru - самая выгодная монетизация WAP трафика 
02:39 Изготовление Логотипов,Баннеров,Интро видео и многое другое 
02:30 Buy/Sell Itunes-Onevanilla-Moneypak-Target-Amazon-Ebay 
02:03 Раскрутка в соц.сетях - Instagram, Twitter, Periscope 
01:49 Качественный прогон Хрумером всего 10 WMZ 
01:22 Помогите оценить домены с большим тицем 
23:07 Кто оценивает сайты? 
23:04 Продам аккаунт Adsense 
01:09 Актуально для новичков! Как продвинуть сайт в интернете бесплатно! 20 простых способов. 
22:31 Почему 98% текстов на ваших сайтах не работают. Вообще. И как это починить 
21:52 Что такое прямые заходы в Яндекс Метрике или история о неуловимых IP у Hetzner Online AG 
19:25 Способ навсегда удалить рефспам из аналитики. 
19:22 Вот подумал... 
16:37 Деверсификация трафика 
15:46 Redis и Tarantool - нужно ли мне это?