Никак не могу сложить правильный Robots.txt
Страницы: 1
Никак не могу сложить правильный Robots.txt
Здравствуйте, Две недели назад поставил null движок Dle 9.7 (да, знаю, опасно, но я думаю 70$ лучше на рекламу потратить, я глазком глянул, вроде шеллов нет, + права на .htaccess поставил нормальные, и прописал защитные коды, это не важно)..
  Меня интересует совсем другое! Я как движок поставил, так и не могу нормальный robots.txt составить..У меня уже гугл пустил лишние страницы под фильтры.. Самое обидное, что прицепилась зараза типа: mododrom.ru/tags/траляля
 Кто может посоветовать, или дать нормальный robots.txt smile:confused:
Вот сам robots: 
http://mododrom.ru/robots.txt  Что в нем не так?? 
JOK3R, я видел вашу тему на форуме насчет фильтров, Спасибо!! smile:) Как я понял Вы писали чтобы проверить какие страницы под фильтром, достаточно написать site:сайт.ру и те ссылки которые будут в самом конце, те и под фильтром (это те которые ПС считаю бесполезными), а те что сверху в ТОПЕ, от тех есть толк, и ПС считает их достойными! Так у меня в ТОПЕ: mododrom.ru/tags/реалистичность/  а эта ссылка бесполезна smile:D)) Может я что-то не понимаю?) 
  Да,  описания к файлам пишу уникальные, хоть маленькие, но не копипаст! 
 Ах да, robots надо чтобы индексировало контент, а не мусор, теги и одно и тоже, как то так..Вот и прошу, чтобы написали или проредактировали роботс)) Спасибо за внимание, жду помощи smile:confused:
Изменено: Руслан Solomon - 3 Февраля 2013 22:44
У меня рекорд, 29 человек за сегодня сайт посетило smile:cool:
Самый верный роботс, много эксперементировал с роботсами, пришел к выводу что лучше этого нету:
User-agent: *
Disallow: /engine/
Host: вашсайт.ru
Sitemap: http://вашсайт/sitemap.xml

User-agent: MediaPartners-Google
Allow: /

User-agent: YandexDirect
Allow: /
Цитата
Леон пишет:
Самый верный роботс, много эксперементировал с роботсами, пришел к выводу что лучше этого нету:
User-agent: *
Disallow: /engine/
Host: вашсайт.ru
Sitemap: http://вашсайт/sitemap.xml

User-agent: MediaPartners-Google
Allow: /

User-agent: YandexDirect
Allow: /
Не знаю, не знаю.. У кого то есть ещё варианты?
Цитата
Руслан Solomon пишет:
Может я что-то не понимаю?)
Там было написано что эти страницы могут прыгать туда - обратно.

Цитата
Руслан Solomon пишет:
) Спасибо за внимание, жду помощи smile:confused:
Стандартный роботс можно скачать в ранних темах на супре, либо загуглить. Все остальное что требует переделки под себя, требует личного внимания. 
Если закрываете теги - значит закрываете теги, и т.д. 

Тут уж увы, знающих что Вы хотите закрыть - нет.
Страницы: 1
Похожие темы:
Читают тему (гостей: 1, пользователей: 0, из них скрытых: 0)
Новые темыОбъявленияСвободное общение
17:53 Webvork - международная товарная СРА сеть с сертифицированными офферами на Европу. 
22:27 LOSPOLLOS.COM - Конвертим по рецепту Хайзенберга. Dating, Mainstream, Binary Options 
12:39 2Index - быстрая индексация страниц сайта и обратных ссылок 
06:17 3snet - гемблинг, беттинг, форекс, бинарные опционы, майнинг 
11:46 SharkBoss - партнёрская программа для монетизации ЛЮБЫХ видов трафика (включая спам). 
23:10 Dao.AD: Монетизация и покупка Push/Pops/Inpage и Video трафика! 
21:20 Rotapost прикрыли! Чем пользоваться? 
22:06 BestX24 - быстрый и безопасный обменник криптовалют и электронных денежных средств 
22:04 Услуги продвижения в авито 
21:00 Onechange.me — надежный обменник криптовалют и фиатных средств 
20:57 Форекс Лиды, Горячий Трафик Форекс, Лиды Форекс 2025, Горячий Трафик Крипто, Целевые Лиды Гэмблинг, Финансовые Рынки Лиды 
18:53 secrex.io обмен без лишних вопросов (NO AML) 
15:41 Запустите свой обменник за 1 день без программиста и серверов — облачная платформа EX365 
15:03 PonyBit.ru - обменный пункт PonyBit.ru (Понибит.ру) 
22:05 С юмором по жизни! 
13:08 Бесплатный майнинг Tether (USDT) 
16:49 monetizer.agency – рекламная сеть для взрослого и развлекательного трафика. 100$ новому вебмастеру 
20:43 Добро пожаловать в цифровой мир... 
15:59 Про мясо 
23:09 ПП от PMS remote.team - 200$ за команду 
13:28 Компьютерная мышь