Роботс и его исключения.

Сообщений: 7396 Регистрация: Окт 2011

27 Октября 2011 04:57

Здравствуйте.
Такая проблема - страницы проскакивают через Диссалов.
Ссылка на мой робот: www.seasonpoetry.ru/robots.txt

Проиндексированные страницы в гугле: http://www.google.ru/search?q=site%3Awww.seasonpoetry.ru&filter=0&ie=UTF-8&oe=UTF-8#q=site:www.seasonpoetry.ru&hl=ru&newwindow=1&prmd=imvns&ei=GaioTuWAJub44QSBgvHwDw&start=40&sa=N&filter=0&bav=on.2,or.r_gc.r_pw.,cf.osb&fp=4b7f01372777b29e&biw=1280&bih=845

Надеюсь ссылка нормально откроется.
На 5 странице поиска и на 4 помоему, проскакивают несколько "feed" страниц.

Как с этим бороться ?

Изменено: Марьян Пильчак - 27 Октября 2011 04:58

Оптимизация сайтов - Заказать!
У тебя пропали позиции? Сайт в АГС? Нету посещений? Позиции калл? Пиши мне!

Юрий Аршинов

Сообщений: 152 Регистрация: Сен 2011

27 Октября 2011 11:05

отключить RSS smile:)

Шаблоны и расширения для Joomla

tenderlib

Сообщений: 7585 Регистрация: Мар 2010

27 Октября 2011 11:57

Предупреждение за злоупотребления смайлами - дальше бан. Рисунок

Закажи фриланс на Бустмаркет

Мой канал в ТГ SERM-club
https://t.me/sermclub

funtashiman

Сообщений: 68 Регистрация: Авг 2011

27 Октября 2011 12:14

Может страницы проиндексировались, будучи ещё не закрытыми в robots.txt ?
Тогда нужно просто подождать, всё нормализуется..
Кстати, непонятно, в файле robots.txt указан основной адрес без WWW, но при переходе по данному адресу происходит редирект на сайт с WWW. Вы уж определитесь какой адрес будет считаться основным!
Да, и ещё, при проверке site:seasonpoetry.ru - нет ни одного проиндексированного фида.

Daimon

Сообщений: 36 Регистрация: Июл 2011

27 Октября 2011 12:49

В вебмастере гугла существует возможность удалять не нужные страницы из индекса, можете воспользоваться, примерно в течении пары дней они удалятся

Марьян Пильчак

Сообщений: 7396 Регистрация: Окт 2011

27 Октября 2011 15:55

Цитата

funtashiman пишет:
Может страницы проиндексировались, будучи ещё не закрытыми в robots.txt ?
Тогда нужно просто подождать, всё нормализуется..
Кстати, непонятно, в файле robots.txt указан основной адрес без WWW, но при переходе по данному адресу происходит редирект на сайт с WWW. Вы уж определитесь какой адрес будет считаться основным!
Да, и ещё, при проверке site:seasonpoetry.ru - нет ни одного проиндексированного фида.

ВВВ - переделаю.
Нет, сайт создавался сразу, и в первый час его появления на домене и хостинге, был сделан роботс и карта сайта.

Новые темы	Объявления	Свободное общение
17:45 AviTool - мощный инструмент для автоматизации работы с Avito 15:31 adsense в 2026: кто реально выводит копейку через киргизию? 12:10 продажа ссылок с ai-сеток в 26-м- тема рип или просто все молчат? 15:04 Редирект на мобильных. Айболит и сканеры молчат 14:57 как оплатить claude и gpt-5 из рф в 2026 чтобы не забанили через три дня 14:36 Ворд Пресс (или его шаблон) перестал отображать <b> болд жирный 14:31 Robots txt	23:14 SOCKS5 приватные прокси на 30 дней для PayPal 23:13 Google Voice аккаунты для бесплатных SMS и звонков 23:08 PayPal аккаунты для любых целей 22:06 Onechange.me — надежный обменник криптовалют и фиатных средств 21:37 Необходим владелец аккаунта Wise - для вывода средств 19:13 GhostRocket.pro — Взлетаем в новую эру криптообмена! 16:54 Belurk — высокоскоростные анонимные прокси от 0,24 рублей	21:21 Панель Кнопки соцсетей 21:02 8 марта: желаю аптайма 99.9% и e-e-a-t без локов 19:32 молодильные яблоки и живая вода 15:29 Компьютерная мышь 12:46 Актуально для тех кто хочет заработать в интернете 12:22 Оцифровка старых физических фотографий 07:36 Точные прогнозы на футбол

Новые темы

Объявления

Свободное общение

17:45 AviTool - мощный инструмент для автоматизации работы с Avito
15:31 adsense в 2026: кто реально выводит копейку через киргизию?
12:10 продажа ссылок с ai-сеток в 26-м- тема рип или просто все молчат?
15:04 Редирект на мобильных. Айболит и сканеры молчат
14:57 как оплатить claude и gpt-5 из рф в 2026 чтобы не забанили через три дня
14:36 Ворд Пресс (или его шаблон) перестал отображать <b> болд жирный
14:31 Robots txt

23:14 SOCKS5 приватные прокси на 30 дней для PayPal
23:13 Google Voice аккаунты для бесплатных SMS и звонков
23:08 PayPal аккаунты для любых целей
22:06 Onechange.me — надежный обменник криптовалют и фиатных средств
21:37 Необходим владелец аккаунта Wise - для вывода средств
19:13 GhostRocket.pro — Взлетаем в новую эру криптообмена!
16:54 Belurk — высокоскоростные анонимные прокси от 0,24 рублей

21:21 Панель Кнопки соцсетей
21:02 8 марта: желаю аптайма 99.9% и e-e-a-t без локов
19:32 молодильные яблоки и живая вода
15:29 Компьютерная мышь
12:46 Актуально для тех кто хочет заработать в интернете
12:22 Оцифровка старых физических фотографий
07:36 Точные прогнозы на футбол

22.10.2017 19:21	Как закрыть в роботс страницы пагинации с главной, но оставить с рубрик?
10.09.2017 23:00	Как закрыть в роботс страницу?
03.07.2017 10:49	Сменили движок и дизайн, роботс заблокировал почти весь сайт
29.06.2017 22:26	Вопрос о роботс
28.03.2017 13:47	Настройка роботс