Как так, в файле роботс стоит запрет на индексацию страниц сайт.ру/user/...., но гугл проиндексировал страницы, в поиске выдает ссылки на страницы юзеров и пишет.
Гугл индексирует заперщенные страницы
Гугл индексирует заперщенные страницы
|
#1
20 Февраля 2014 04:19
|
|
#2
20 Февраля 2014 04:23
Можете показать сам robots.txt? И отдает ли ваш сайт правильный заголовок для txt файла?
|
|
#3
20 Февраля 2014 04:27
User - agent: *
Disallow: / user |
|
#4
20 Февраля 2014 05:36
|
|
#5
21 Февраля 2014 02:47
Даже если роботс и правильный, гугл часто игнорит его, на многих моих сайтах в выдаче есть запрещенные в роботсе страницы и не только у меня
|
|
#6
21 Февраля 2014 06:12
Влад Мищенко уточните выдает ли Гугл запрещенные страницы в поиске по обычным запросам ИЛИ при запросе "site:вашСайт.ru"
со сниппетом "Описание веб-страницы недоступно из-за ограничений в файле robots.txt." Если второе, то это для личного пользования.  |
|
#7
21 Февраля 2014 09:34
Уже это обсуждалось давно, гугл индексирует все, а потом возможно выкинет не нужное. )
|
|
#8
28 Февраля 2014 10:54
Также нужно время после запрета страницы в роботс. |
||||
Похожие темы:
| 02.12.2023 00:11 | Как долго индексируется страница |
| 02.12.2023 00:00 | не индексируеться карта сайта |
| 21.06.2022 18:41 | Подскажите как выбрать хорошего спеца по СЕО продвижению сайта в Яндекс и Гугл? |
| 06.10.2020 15:28 | Есть ли инструмент для сбора данных о доходов с рся, гугл adsense и тд |
| 25.03.2020 20:53 | Прекратили показ объявлений в гугл. |
Читают тему (гостей: 1, пользователей: 0, из них скрытых: 0)
Апдейты
- Яндекс ИКС
23.12.2025 (98 дней назад) - Яндекс выдача
21.03.2026 (10 дней назад)
Доска объявлений
Купить / Продать
Работа / Услуги
Интересные темы
Интернет новости
Инструменты