Роботс и его исключения.

Сообщений: 7396 Регистрация: Окт 2011

27 Октября 2011 04:57

Здравствуйте.
Такая проблема - страницы проскакивают через Диссалов.
Ссылка на мой робот: www.seasonpoetry.ru/robots.txt

Проиндексированные страницы в гугле: http://www.google.ru/search?q=site%3Awww.seasonpoetry.ru&filter=0&ie=UTF-8&oe=UTF-8#q=site:www.seasonpoetry.ru&hl=ru&newwindow=1&prmd=imvns&ei=GaioTuWAJub44QSBgvHwDw&start=40&sa=N&filter=0&bav=on.2,or.r_gc.r_pw.,cf.osb&fp=4b7f01372777b29e&biw=1280&bih=845

Надеюсь ссылка нормально откроется.
На 5 странице поиска и на 4 помоему, проскакивают несколько "feed" страниц.

Как с этим бороться ?

Изменено: Марьян Пильчак - 27 Октября 2011 04:58

Оптимизация сайтов - Заказать!
У тебя пропали позиции? Сайт в АГС? Нету посещений? Позиции калл? Пиши мне!

Юрий Аршинов

Сообщений: 152 Регистрация: Сен 2011

27 Октября 2011 11:05

отключить RSS smile:)

Шаблоны и расширения для Joomla

tenderlib

Сообщений: 7582 Регистрация: Мар 2010

27 Октября 2011 11:57

Предупреждение за злоупотребления смайлами - дальше бан. Рисунок

Закажи фриланс на Бустмаркет

Мой канал в ТГ SERM-club
https://t.me/sermclub

funtashiman

Сообщений: 68 Регистрация: Авг 2011

27 Октября 2011 12:14

Может страницы проиндексировались, будучи ещё не закрытыми в robots.txt ?
Тогда нужно просто подождать, всё нормализуется..
Кстати, непонятно, в файле robots.txt указан основной адрес без WWW, но при переходе по данному адресу происходит редирект на сайт с WWW. Вы уж определитесь какой адрес будет считаться основным!
Да, и ещё, при проверке site:seasonpoetry.ru - нет ни одного проиндексированного фида.

Daimon

Сообщений: 36 Регистрация: Июл 2011

27 Октября 2011 12:49

В вебмастере гугла существует возможность удалять не нужные страницы из индекса, можете воспользоваться, примерно в течении пары дней они удалятся

Марьян Пильчак

Сообщений: 7396 Регистрация: Окт 2011

27 Октября 2011 15:55

Цитата

funtashiman пишет:
Может страницы проиндексировались, будучи ещё не закрытыми в robots.txt ?
Тогда нужно просто подождать, всё нормализуется..
Кстати, непонятно, в файле robots.txt указан основной адрес без WWW, но при переходе по данному адресу происходит редирект на сайт с WWW. Вы уж определитесь какой адрес будет считаться основным!
Да, и ещё, при проверке site:seasonpoetry.ru - нет ни одного проиндексированного фида.

ВВВ - переделаю.
Нет, сайт создавался сразу, и в первый час его появления на домене и хостинге, был сделан роботс и карта сайта.

Новые темы	Объявления	Свободное общение
01:40 Плагин ответа 01:29 01.02. Апдейт 31.01 // Chrome готовит "чёрную метку" для ИИ? 01:12 [AI] 90% против нейросетей? Красивые цифры от DuckDuckGo (с подвохом) 23:51 [AI] Хаби Лейм и сделка на $1 млрд. Гений или его развели на фантики? 23:08 Гугл официально убивает клики: кнопка "Show more" теперь открывает чат на весь экран вместо сайтов 19:30 SEO под нейро 17:22 Дзен окончательно всё? Или у кого-то еще «стреляет» белый контент?	20:58 BestX24 - быстрый и безопасный обменник криптовалют и электронных денежных средств 20:41 Bankomat001 - Сервис обмена электронных валют 18:48 Продажа аккаунтов HH.RU 16:13 Мониторинг обменников Сrypto-scout.io 15:01 Onechange.me — надежный обменник криптовалют и фиатных средств 14:30 Рассылки СМС/SMS, Вайбер/Viber, Ватсап/Whatsapp, Телеграм/Telegram любой тематики по всему миру 21:37 - Вечные ссылки с трастовых сайтов 2024 проверен FastTrust	01:32 Кто может дать инвайт на WebMasters? 00:50 Точные прогнозы на футбол 00:13 [AI] Бот за $600к советовал есть сыр с крысами. Нью-Йорк его (наконец-то) снес 23:33 Gartner обещал смерть SEO к 2026 году. Открываем метрику и проверяем 17:58 Список обновленных тем пуст... 14:24 Осталось 3-5 месяцев до блокировки YouTube в России, — заявил Клименко 20:11 Ставки на супер тренды в спорте

Новые темы

Объявления

Свободное общение

01:40 Плагин ответа
01:29 01.02. Апдейт 31.01 // Chrome готовит "чёрную метку" для ИИ?
01:12 [AI] 90% против нейросетей? Красивые цифры от DuckDuckGo (с подвохом)
23:51 [AI] Хаби Лейм и сделка на $1 млрд. Гений или его развели на фантики?
23:08 Гугл официально убивает клики: кнопка "Show more" теперь открывает чат на весь экран вместо сайтов
19:30 SEO под нейро
17:22 Дзен окончательно всё? Или у кого-то еще «стреляет» белый контент?

20:58 BestX24 - быстрый и безопасный обменник криптовалют и электронных денежных средств
20:41 Bankomat001 - Сервис обмена электронных валют
18:48 Продажа аккаунтов HH.RU
16:13 Мониторинг обменников Сrypto-scout.io
15:01 Onechange.me — надежный обменник криптовалют и фиатных средств
14:30 Рассылки СМС/SMS, Вайбер/Viber, Ватсап/Whatsapp, Телеграм/Telegram любой тематики по всему миру
21:37 - Вечные ссылки с трастовых сайтов 2024 проверен FastTrust

01:32 Кто может дать инвайт на WebMasters?
00:50 Точные прогнозы на футбол
00:13 [AI] Бот за $600к советовал есть сыр с крысами. Нью-Йорк его (наконец-то) снес
23:33 Gartner обещал смерть SEO к 2026 году. Открываем метрику и проверяем
17:58 Список обновленных тем пуст...
14:24 Осталось 3-5 месяцев до блокировки YouTube в России, — заявил Клименко
20:11 Ставки на супер тренды в спорте

22.10.2017 19:21	Как закрыть в роботс страницы пагинации с главной, но оставить с рубрик?
10.09.2017 23:00	Как закрыть в роботс страницу?
03.07.2017 10:49	Сменили движок и дизайн, роботс заблокировал почти весь сайт
29.06.2017 22:26	Вопрос о роботс
28.03.2017 13:47	Настройка роботс