Индексирует мусор
Страницы: 1
Индексирует мусор
Помогите,что не так в robots.txt smile:confused: Индексирует гугл весь хлам.
Можете посмотреть в гугле site:inseklopedia.ru
Кто знает как правильно составить robots.txt? Нашел много статей как правильно составлять robots.txt и везде по разному.А как же правильно?
Подскажите.

Вот мой robots.txt

Цитата
User-agent: *
Disallow: /engine/go.php
Disallow: /user/
Disallow: /newposts/
Disallow: /statistics.html
Disallow: /*subaction=userinfo
Disallow: /*subaction=newposts
Disallow: /*do=lastcomments
Disallow: /*do=feedback
Disallow: /*do=register
Disallow: /*do=lostpassword
Disallow: /*do=addnews
Disallow: /*do=stats
Disallow: /*do=pm
Host: inseklopedia.ru
Изменено: reks - 1 Июля 2011 23:50

Прогон по твиттеру, постинг в 1500 аккунтов
Постинг в твиттер аккаунты, для ускорения индексации ваших сайтов, сателлитов, дорвеев.

Добавить это

Disallow: /*print
Disallow: /engine/
Disallow: /tags/
Disallow: /2010/
Disallow: /2011/

И убрать
Disallow: /engine/go.php
Если есть материалы за 2009 год, то добавить еще строку
Disallow: /2009/
Спасибо. А почему у меня индексируется профили,восстановления паролей и.т.д. хотя прописаны в файле.
Кто знает,подскажите. smile:(

Цитата
Disallow: /user/
Disallow: /*do=lostpassword
Disallow: /*do=register
Цитата
reks пишет:
Спасибо. А почему у меня индексируется профили,восстановления паролей и.т.д. хотя прописаны в файле.

Потому что эта строчка <met a name="robots" content="all" /> имеет приоритет. И всё, что Вы задаёте в robots.txt не имеет значения при наличии такой строки.
Изменено: leon_need - 2 Июля 2011 09:35
А где её найти?
И её удалить что ли надо,что то я с этим не сталкивался,не знаю.
Подскажите
Изменено: reks - 2 Июля 2011 09:52
reks,
/engine/engine.php открываете, ищите примерно 720 строку (<met a name="robots" content="all" />) и удаляете ее.
Изменено: igoryanzx1 - 2 Июля 2011 16:29
Спасибо нашел smile:sarc:
Страницы: 1
Похожие темы:
Читают тему (гостей: 1, пользователей: 0, из них скрытых: 0)
Новые темыОбъявленияСвободное общение
03:55 Ап 25.09 
01:14 Текстовый апдейт: выложен индекс по 16 сентября 2016 
01:01 Google делает подляну сайту 
00:51 Как влияют на продвижение уникальные статьи из веб-архива 
23:24 Объявления гугл выходят за пределы страницы. 
21:09 Невероятное открытие – Nofollow ссылки улучшают ваши позиции 
21:02 "Белый экран" при попытке установки или обновления компонентов (j3.6.2) 
04:44 Вакансии: Операторы и редакторы по обработке статей из вебархива 
02:57 Оцените игровой портал 
02:29 Женский портал 
02:23 Размещу ваши ссылки на сайте игровой тематики 
01:08 Комплексный прогон сайтов, нет каталогов от shtaketo, хороший рост позиций + Тиц 30 - 100 
01:08 3 совета по Юзабилити и Конверсии / SEO аудит 
19:50 Dark Sender - новая программа для рассылки в Вконтакте 
02:22 "Амнистия" 2016 
02:17 Нужна помощь по Джумла. Решение нескольких вопросов. 
23:55 Склейка доменов: нужна помощь 
22:24 Нужен баннер для популяризации раздела "Интересные темы" (безвозмездно) 
21:49 Есть тут те, кто вообще не умеет создавать сайты и сейчас не имеет ни одного? У кого не было первого раза? 
21:37 Халява, почти. Текст более 3 млн.сим., ~200 тИЦ, до 10 тыс.твиттер прогон (значения указаны суммарно) БЕСПЛАТНО 
21:11 Доска объявлений ищет нового хозяина