Никак не могу сложить правильный Robots.txt
Страницы: 1
Никак не могу сложить правильный Robots.txt
Здравствуйте, Две недели назад поставил null движок Dle 9.7 (да, знаю, опасно, но я думаю 70$ лучше на рекламу потратить, я глазком глянул, вроде шеллов нет, + права на .htaccess поставил нормальные, и прописал защитные коды, это не важно)..
  Меня интересует совсем другое! Я как движок поставил, так и не могу нормальный robots.txt составить..У меня уже гугл пустил лишние страницы под фильтры.. Самое обидное, что прицепилась зараза типа: mododrom.ru/tags/траляля
 Кто может посоветовать, или дать нормальный robots.txt smile:confused:
Вот сам robots: 
http://mododrom.ru/robots.txt  Что в нем не так?? 
JOK3R, я видел вашу тему на форуме насчет фильтров, Спасибо!! smile:) Как я понял Вы писали чтобы проверить какие страницы под фильтром, достаточно написать site:сайт.ру и те ссылки которые будут в самом конце, те и под фильтром (это те которые ПС считаю бесполезными), а те что сверху в ТОПЕ, от тех есть толк, и ПС считает их достойными! Так у меня в ТОПЕ: mododrom.ru/tags/реалистичность/  а эта ссылка бесполезна smile:D)) Может я что-то не понимаю?) 
  Да,  описания к файлам пишу уникальные, хоть маленькие, но не копипаст! 
 Ах да, robots надо чтобы индексировало контент, а не мусор, теги и одно и тоже, как то так..Вот и прошу, чтобы написали или проредактировали роботс)) Спасибо за внимание, жду помощи smile:confused:
Изменено: Руслан Solomon - 3 Февраля 2013 22:44
У меня рекорд, 29 человек за сегодня сайт посетило smile:cool:
Самый верный роботс, много эксперементировал с роботсами, пришел к выводу что лучше этого нету:
User-agent: *
Disallow: /engine/
Host: вашсайт.ru
Sitemap: http://вашсайт/sitemap.xml

User-agent: MediaPartners-Google
Allow: /

User-agent: YandexDirect
Allow: /
Цитата
Леон пишет:
Самый верный роботс, много эксперементировал с роботсами, пришел к выводу что лучше этого нету:
User-agent: *
Disallow: /engine/
Host: вашсайт.ru
Sitemap: http://вашсайт/sitemap.xml

User-agent: MediaPartners-Google
Allow: /

User-agent: YandexDirect
Allow: /
Не знаю, не знаю.. У кого то есть ещё варианты?
Цитата
Руслан Solomon пишет:
Может я что-то не понимаю?)
Там было написано что эти страницы могут прыгать туда - обратно.

Цитата
Руслан Solomon пишет:
) Спасибо за внимание, жду помощи smile:confused:
Стандартный роботс можно скачать в ранних темах на супре, либо загуглить. Все остальное что требует переделки под себя, требует личного внимания. 
Если закрываете теги - значит закрываете теги, и т.д. 

Тут уж увы, знающих что Вы хотите закрыть - нет.
Страницы: 1
Похожие темы:
Читают тему (гостей: 1, пользователей: 0, из них скрытых: 0)
Новые темыОбъявленияСвободное общение
14:09 2Index - быстрая индексация страниц сайта и обратных ссылок 
12:28 adsense в 2026: кто реально выводит копейку через киргизию? 
12:26 Очередной взлом через плагин. Хакеры получают админку без пароля 
12:19 Биржи ссылок в 2026 - реально ли новичку с одним сайтом поднять копейку? 
12:12 LOSPOLLOS.COM - Конвертим по рецепту Хайзенберга. Dating, Mainstream, Binary Options 
23:24 Яндекс Нейро и выдача в 2026 - остались ли лазейки для маленьких сайтов? 
23:05 Раскрутка форума 
15:11 HH.ru Работадателя вериф 
14:49 4G/LTE Mobile Proxy 30+ geo  
14:43 [UPDATE] CryptoMonitor — обмен BTC, USDT, XMR | актуальная тема сервиса 
13:32 Мониторинг обменников Сrypto-scout.io 
12:07 Копирайтинг RU/EN, переводы высокого уровня (рус/англ/укр), SEO-оптимизированные тексты под ключ для выхода в Топ (2000+ отзывов) 
11:41 Рассылки СМС/SMS, Вайбер/Viber, Ватсап/Whatsapp, Телеграм/Telegram любой тематики по всему миру 
10:54 От $0.015 за IP | $0.68 за ГБ | 9PROXY.COM | 20+ млн резидентных прокси | 99,95% аптайм | Без чёрных списков 
12:30 8 марта: желаю аптайма 99.9% и e-e-a-t без локов 
12:29 Огородники 
16:47 Какой фильм вы любите посмотреть перед сном? 
15:46 молодильные яблоки и живая вода 
10:11 О природе путешествий. 
01:47 Точные прогнозы на футбол 
15:04 Сайты Рунета