Robots.txt
Страницы: 1
Robots.txt, ....
Гугл жрёт даже то, что закрыто на индексацию в robots.txt
В общем у меня DLE 9.2 Null, поставил что-то типа модуля замазки ссылок:
До:
Рисунок

После:
Рисунок

А вот собственно робот.txt:
Рисунок

Красным отмечена та область которая не нужна мне в индексе.
Так выглядит этот переход (примерно): http://название.ру/engine/dude/index/leech_out.php?тут был зашифрованный код ссылки....
А вот ссылки в гугл поиске:
Рисунок

И продолжает их брать smile:(..
Кто, что посоветует?
Если, что сайт для ознакомления в подписи.
Изменено: Pash - 21 Апреля 2011 12:09
Имеешь трафик 1-2к в сутки? Конвертируй его в 100-150р в сутки стабильно с тизеркой.

Бесплатная контекстная реклама

То, что красным... зачем это? Если уже есть Disallow: /engine/. Можно еще * после слеша поставить, хотя не обязательно. И жди - робот не в первый же день перечитает новый robots.
По самому сайту: ссылки в короткой новости - это вызов всем роботам smile:rolleyes:
Вот тут ошибочка похоже:
Код
Disallow: /engine/dude/index/leech_out.php?*

А нужно:
Код
Disallow: /engine/dude/index/leech_out.php?=*
Цитата
Miss Belka пишет:
Disallow: /engine/dude/index/leech_out.php?=*

Зачем так все усложнять
Код
Disallow: /engine/

и весь каталог engine запрещен, его в dle и не надо индексировать
Изменено: Lazun429 - 21 Апреля 2011 15:50
Цитата
abyss-by пишет:
ссылки в короткой новости - это вызов всем роботам

Что за вызов? Можно по подробней?
Цитата
Lazun429 пишет:
Цитата
Miss Belka пишет:
Disallow: /engine/dude/index/leech_out.php?=*

Зачем так все усложнять
Код
Disallow: /engine/

и весь каталог engine запрещен, его в dle и не надо индексировать


Это понятно. Просто подумалось, глядя на выложенный robots.txt, что в этом каталоге engine могут быть еще какие-то элементы, которые нужно индексировать, а именно к leech_out.php желательно закрыть доступ. В этом случае в оригинале ошибочка.
Страницы: 1
Похожие темы:
Читают тему (гостей: 1, пользователей: 0, из них скрытых: 0)
Новые темыОбъявленияСвободное общение
03:58 Лучшая рекламная сеть Traffic.ru! 
01:46 Yioop 
00:09 DreamCash.tl - заработок на онлайн-видео. До 95% отчислений, отличный конверт! 
23:24 Bodyclick.net - рекламная партнерская сеть. 
22:08 17 августа 2017 апдейт Яндекса и тИЦ подвержденный 
21:53 Апдейт ТИЦ 15 августа 2017 
21:49 Profitco - гемблинговая ПП! Проверенные бренды, парк-домены, выплаты каждую неделю, геолокация по ip 
00:06 Ссылки со статей "под ключ". Рост тИЦ, траста и позиций 
23:19 Продвижение в соц. сетях: ВК, Одноклассники, Instagram, Twitter, Facebook, YouTube 
22:28 Комплексная раскрутка сайтов. Качественные услуги, прогоны и прочее. (3000+ отзывов) 
21:23 NewLine.online - Полуавтоматический обмен электронных валют 
18:27 Куплю сайт 
17:43 Вечные линки с 200+ СДЛов, тиц до 750, ЯКи, DMOZ, от 1$/линк 
15:50 Качественный прогон по трастовым сайтам и форумам. Рост ТИЦ, посещаемости и позиций. Множество отзывов, недорого + скидки 
03:36 Весело день начался... 
01:25 Червоный 
00:59 Поиск фотошопера 
23:08 Кто чем монетизирует англоязычные сайты? 
22:50 Как быстро выстреливают ссылки? 
22:39 Для тех, у кого есть сайты ИГРОВОЙ тематики. Заходите) 
21:32 Что с фейсбуком то творится ?