Никак не могу сложить правильный Robots.txt
Страницы: 1
Никак не могу сложить правильный Robots.txt
Здравствуйте, Две недели назад поставил null движок Dle 9.7 (да, знаю, опасно, но я думаю 70$ лучше на рекламу потратить, я глазком глянул, вроде шеллов нет, + права на .htaccess поставил нормальные, и прописал защитные коды, это не важно)..
  Меня интересует совсем другое! Я как движок поставил, так и не могу нормальный robots.txt составить..У меня уже гугл пустил лишние страницы под фильтры.. Самое обидное, что прицепилась зараза типа: mododrom.ru/tags/траляля
 Кто может посоветовать, или дать нормальный robots.txt smile:confused:
Вот сам robots: 
http://mododrom.ru/robots.txt  Что в нем не так?? 
JOK3R, я видел вашу тему на форуме насчет фильтров, Спасибо!! smile:) Как я понял Вы писали чтобы проверить какие страницы под фильтром, достаточно написать site:сайт.ру и те ссылки которые будут в самом конце, те и под фильтром (это те которые ПС считаю бесполезными), а те что сверху в ТОПЕ, от тех есть толк, и ПС считает их достойными! Так у меня в ТОПЕ: mododrom.ru/tags/реалистичность/  а эта ссылка бесполезна smile:D)) Может я что-то не понимаю?) 
  Да,  описания к файлам пишу уникальные, хоть маленькие, но не копипаст! 
 Ах да, robots надо чтобы индексировало контент, а не мусор, теги и одно и тоже, как то так..Вот и прошу, чтобы написали или проредактировали роботс)) Спасибо за внимание, жду помощи smile:confused:
Изменено: Руслан Solomon - 3 Февраля 2013 22:44
У меня рекорд, 29 человек за сегодня сайт посетило smile:cool:
Самый верный роботс, много эксперементировал с роботсами, пришел к выводу что лучше этого нету:
User-agent: *
Disallow: /engine/
Host: вашсайт.ru
Sitemap: http://вашсайт/sitemap.xml

User-agent: MediaPartners-Google
Allow: /

User-agent: YandexDirect
Allow: /
Цитата
Леон пишет:
Самый верный роботс, много эксперементировал с роботсами, пришел к выводу что лучше этого нету:
User-agent: *
Disallow: /engine/
Host: вашсайт.ru
Sitemap: http://вашсайт/sitemap.xml

User-agent: MediaPartners-Google
Allow: /

User-agent: YandexDirect
Allow: /
Не знаю, не знаю.. У кого то есть ещё варианты?
Цитата
Руслан Solomon пишет:
Может я что-то не понимаю?)
Там было написано что эти страницы могут прыгать туда - обратно.

Цитата
Руслан Solomon пишет:
) Спасибо за внимание, жду помощи smile:confused:
Стандартный роботс можно скачать в ранних темах на супре, либо загуглить. Все остальное что требует переделки под себя, требует личного внимания. 
Если закрываете теги - значит закрываете теги, и т.д. 

Тут уж увы, знающих что Вы хотите закрыть - нет.
Страницы: 1
Похожие темы:
Читают тему (гостей: 1, пользователей: 0, из них скрытых: 0)
Новые темыОбъявленияСвободное общение
19:44 Yahoo Scout: Нейро-привет из склепа. Реальный шанс на траф или мимо? 
17:33 AntiBot Cloud - бесплатный скрипт и сервис защиты сайтов 
15:20 01.02. Апдейт 31.01 // Chrome готовит "чёрную метку" для ИИ? 
15:14 Апдейт Яндекса 7 февраля. Пока серп трясет, некоторые по ботам плачут 
15:10 Google Discover Core Update: Дискавер отделяют от поиска? 
15:04 Гугл пухнет от кеша, а нам - крошки. Разбор $114 млрд: Адсенс в минусе, Ютуб на подписках 
11:30 ЕС душит ТикТок: прощай бесконечная лента и RPM? Что с монетизацией? 
15:12 CryptoGraph — Анонимный обмен криптовалют без KYC и AML 
12:38 Bankomat001 - Сервис обмена электронных валют 
10:42 Рассылки СМС/SMS, Вайбер/Viber, Ватсап/Whatsapp, Телеграм/Telegram любой тематики по всему миру 
09:36 Мониторинг обменников Сrypto-scout.io 
05:29 Продам обменник криптовалюты, а также новый обменник под ключ с обучением. Скидки на скрипты обменника 
04:20 Просто $0.04/IP 9PROXY.COM Резидентные прокси Неограниченная пропускная способность Уникальная политика замены Без чёрного списка 
23:26 Sova.gg - надежный обменник криптовалюты. 
22:07 Кулеры и БП станут золотыми? Медь по 13 штук, олово в космосе 
21:18 Точные прогнозы на футбол 
18:56 Moltbook: Соцсеть для ботов, где людям закрыли рот. Началось? 
02:12 Ставки на супер тренды в спорте 
22:31 [AI] Бот за $600к советовал есть сыр с крысами. Нью-Йорк его (наконец-то) снес 
13:38 Осталось 3-5 месяцев до блокировки YouTube в России, — заявил Клименко 
07:11 Список обновленных тем пуст...