Индексирует мусор
Страницы: 1
Индексирует мусор
Помогите,что не так в robots.txt smile:confused: Индексирует гугл весь хлам.
Можете посмотреть в гугле site:inseklopedia.ru
Кто знает как правильно составить robots.txt? Нашел много статей как правильно составлять robots.txt и везде по разному.А как же правильно?
Подскажите.

Вот мой robots.txt

Цитата
User-agent: *
Disallow: /engine/go.php
Disallow: /user/
Disallow: /newposts/
Disallow: /statistics.html
Disallow: /*subaction=userinfo
Disallow: /*subaction=newposts
Disallow: /*do=lastcomments
Disallow: /*do=feedback
Disallow: /*do=register
Disallow: /*do=lostpassword
Disallow: /*do=addnews
Disallow: /*do=stats
Disallow: /*do=pm
Host: inseklopedia.ru
Изменено: reks - 1 Июля 2011 23:50

Бесплатная контекстная реклама

Добавить это

Disallow: /*print
Disallow: /engine/
Disallow: /tags/
Disallow: /2010/
Disallow: /2011/

И убрать
Disallow: /engine/go.php
Если есть материалы за 2009 год, то добавить еще строку
Disallow: /2009/
Спасибо. А почему у меня индексируется профили,восстановления паролей и.т.д. хотя прописаны в файле.
Кто знает,подскажите. smile:(

Цитата
Disallow: /user/
Disallow: /*do=lostpassword
Disallow: /*do=register
Цитата
reks пишет:
Спасибо. А почему у меня индексируется профили,восстановления паролей и.т.д. хотя прописаны в файле.

Потому что эта строчка <met a name="robots" content="all" /> имеет приоритет. И всё, что Вы задаёте в robots.txt не имеет значения при наличии такой строки.
Изменено: leon_need - 2 Июля 2011 09:35
А где её найти?
И её удалить что ли надо,что то я с этим не сталкивался,не знаю.
Подскажите
Изменено: reks - 2 Июля 2011 09:52
reks,
/engine/engine.php открываете, ищите примерно 720 строку (<met a name="robots" content="all" />) и удаляете ее.
Изменено: igoryanzx1 - 2 Июля 2011 16:29
Спасибо нашел smile:sarc:
Страницы: 1
Похожие темы:
Читают тему (гостей: 1, пользователей: 0, из них скрытых: 0)
Новые темыОбъявленияСвободное общение
19:40 Popunder.ru - крупнейшая биржа трафика, стабильные выплаты с 2007 года! 
19:33 Апдейт 24 февраля 2017 года 
19:25 Wordpress, https и Яндекс.Метрика 
18:37 Рекламная сеть яндекса личный опыт 
15:30 Вопрос по уникальности контента 
13:12 Нужен ли тег keywords 
12:47 Букварикс: бесплатная программа для быстрого поиска ключевых слов 
20:48 Продвижение сайтов сателлитами. Создание сетки сателлитов для продвижения Вашего сайта 
20:36 Комплексный прогон по трастовым сайтам, статейное размещение. Рост НЧ-СЧ, Тиц-пр. 
20:35 Качественные профильные и статейные прогоны хрумером по своим базам! 
18:48 Куплю аккаунт Adsense Россия 
16:57 20 крутых ссылок всего за 499 рублей! Из них 14 сайтов в ЯК, 6 в DMOZ, средний ТИЦ 225. Только ручное размещение! 
15:33 Статейный прогон, цена 20$ 
15:07 Комплексная раскрутка сайтов. Качественные услуги, прогоны и прочее. (2000+ отзывов) 
20:35 php обратная связь 
19:18 Продам лицензию Rank Tracker Professional за пол цены 
18:44 Госзакупки - продления домена за 100 т.р. 
18:15 Один сайт и 3 офиса, работающих за % 
17:33 Пузатовский марафончик нахаляву. 
16:56 Где найти юридические оферы? 
15:21 AMarkets - партнерские программы финансовых рынков