Просто в том и проблема что я не знаю что и как правильно в роботс.тхт еще можно скрыть. вдруг щас чтото закрою и не будут вообще индексироваться страницы

до этого у меня стоял нормальный роботс тхт в котором было все нормально прописано что нельзя индексировать, а сейчас я его не менял, но начали происходить вот такие странные вещи)

на джумле ))))

Цитата
Pozzitivsp пишет: на джумле ))))

Джумлу не знаю но думаю принцип у всех один, просто некоторые движки позволяют из админки закрывать от индексации страниц.
Посмотри те страницы которые ты считаешь нужны для пользователя, то есть те по которым по прямым ссылкам он может переходить с страницы твоей.
Просто на одну и туже страницу может быть множество переходов. Скажем из профиля пользователя и может так получиться что один и тот же текст будет выдаваться как совершенно на разных страницах а для поисковика это будет выглядеть как идентичная статья и он вполне может какую то из них выкинуть с поиска и это может оказаться совсем не та, в результате ты как потеряешь страницу вообще.
Если в чём не прав, был бы не против если поправят.

Pozzitivsp,
Зачем каждую по отдельности? просто путь к ним к примеру как было бы к этим постам cy-pr.com/forum/f21/t6452/
то есть не указывая конкретную страницу.

В хелпе Вебмастера про это написано.
Иногда быстобот вопреки nofollow, noindex(!) и robots индексирует что-то. И ваши страницы, и странные бэки на вас могут отображаться. Но постепенно всё лишнее отстреливается, не переживайте.

Цитата
2webliberty пишет: Но постепенно всё лишнее отстреливается, не переживайте.

"Обнадёживает", только это может длиться не один месяц.