Robots.txt
Страницы: 1
Robots.txt, ....
Гугл жрёт даже то, что закрыто на индексацию в robots.txt
В общем у меня DLE 9.2 Null, поставил что-то типа модуля замазки ссылок:
До:
Рисунок

После:
Рисунок

А вот собственно робот.txt:
Рисунок

Красным отмечена та область которая не нужна мне в индексе.
Так выглядит этот переход (примерно): http://название.ру/engine/dude/index/leech_out.php?тут был зашифрованный код ссылки....
А вот ссылки в гугл поиске:
Рисунок

И продолжает их брать smile:(..
Кто, что посоветует?
Если, что сайт для ознакомления в подписи.
Изменено: Pash - 21 Апреля 2011 12:09
Имеешь трафик 1-2к в сутки? Конвертируй его в 100-150р в сутки стабильно с тизеркой.

Прогон по твиттеру, постинг в 1500 аккунтов
Постинг в твиттер аккаунты, для ускорения индексации ваших сайтов, сателлитов, дорвеев.

То, что красным... зачем это? Если уже есть Disallow: /engine/. Можно еще * после слеша поставить, хотя не обязательно. И жди - робот не в первый же день перечитает новый robots.
По самому сайту: ссылки в короткой новости - это вызов всем роботам smile:rolleyes:
Вот тут ошибочка похоже:
Код
Disallow: /engine/dude/index/leech_out.php?*

А нужно:
Код
Disallow: /engine/dude/index/leech_out.php?=*
Цитата
Miss Belka пишет:
Disallow: /engine/dude/index/leech_out.php?=*

Зачем так все усложнять
Код
Disallow: /engine/

и весь каталог engine запрещен, его в dle и не надо индексировать
Изменено: Lazun429 - 21 Апреля 2011 15:50
Цитата
abyss-by пишет:
ссылки в короткой новости - это вызов всем роботам

Что за вызов? Можно по подробней?
Цитата
Lazun429 пишет:
Цитата
Miss Belka пишет:
Disallow: /engine/dude/index/leech_out.php?=*

Зачем так все усложнять
Код
Disallow: /engine/

и весь каталог engine запрещен, его в dle и не надо индексировать


Это понятно. Просто подумалось, глядя на выложенный robots.txt, что в этом каталоге engine могут быть еще какие-то элементы, которые нужно индексировать, а именно к leech_out.php желательно закрыть доступ. В этом случае в оригинале ошибочка.
Страницы: 1
Похожие темы:
Читают тему (гостей: 1, пользователей: 0, из них скрытых: 0)
Новые темыОбъявленияСвободное общение
17:33 Яндекс обнулил всем значение тИЦ? 
17:32 Помогите решить вопрос, нету трафика с гугла 
17:27 AffiliateCube 3.0 - усовершенствованная платформа 
16:25 Изменение адреса для пин кода 
15:07 26 апреля 2017 Яндекс выдача 
14:58 Подозрительный трафик! 
14:53 WelcomePartners – ведущая гемблинг партнерка рунета! 
17:28 Услуги по созданию/доработки/правки сайтов на CMS DLE (Datalife Engine), Wordpress, Joomla! 
16:54 Комплексный прогон по трастовым сайтам, статейное размещение. Рост НЧ-СЧ, Тиц-пр. 
16:19 Качественный трастовый прогон с большими ТИЦками! Более 400 сайтов, общий тиц больше 100000! 
14:15 20 крутых ссылок всего за 499 рублей! Из них 14 сайтов в ЯК, 6 в DMOZ, средний ТИЦ 225. Только ручное размещение! 
13:05 Доработки по 2 сайтам DLE, PHP, htlm, css модули 
12:48 Прогон по твиттеру, постинг в 1500 аккунтов, ускорение индексации и переиндексация сайтов, сателлитов, дорвеев и ссылок с прогонов 
10:59 Как создать простейший ИМ? Уже отчаялся найти подрядчика! Помогите! 
17:13 Советую вместо дом2 послушать аудиокнигу "Мани, или Азбука денег" Автор: Бодо Шефер 
15:49 Российские каналы +8 часов где смотреть? 
15:49 Читаете ли своим маленьким детям книги? (тема для родителей, а не всезнаек) 
12:43 Росконадзор штрафует за форму обратной связи 
23:09 Как сделать ПРОГНОЗ КЛЕВА 
22:51 Ищем не на чем сэкономить, а на чем заработать! 
21:29 Статьи с ошибками на медицинском сайте. Как влияют на продвижение ошибки?