мой робот

Сообщений: 172 Регистрация: Авг 2011

21 Сентября 2011 00:53

User-agent: *
Crawl-delay: 4
Disallow: /cgi-bin
Disallow: /wp-admin
Disallow: /wp-includes
Disallow: /wp-content/plugins
Disallow: /wp-content/cache
Disallow: /wp-content/themes
Disallow: /trackback
Disallow: */trackback
Disallow: */*/trackback
Disallow: */*/feed/*/
Disallow: */feed
Disallow: /*?*

User-agent: Yandex
Crawl-delay: 4
Disallow: /cgi-bin
Disallow: /wp-admin
Disallow: /wp-includes
Disallow: /wp-content/plugins
Disallow: /wp-content/cache
Disallow: /wp-content/themes
Disallow: /trackback
Disallow: */trackback
Disallow: */*/trackback
Disallow: */*/feed/*/
Disallow: */feed
Disallow: /*?*
Host: ozdorovlen.ru

Sitemap: http://ozdorovlen.ru/sitemap.xml.gz
Sitemap: http://ozdorovlen.ru/sitemap.xml

Что тут не так?

Boss

Сообщений: 479 Регистрация: Сен 2010

21 Сентября 2011 02:08

А в чем у вас проблема?

Цитата
serjoo пишет: Sitemap: _http://ozdorovlen.ru/sitemap.xml.gz

Зачем?

Disallow: */*/feed/*/
И это как то странно написано. У вас есть следующая строка после этой нормальная.

Изменено: Boss - 21 Сентября 2011 02:10

serjoo

Сообщений: 172 Регистрация: Авг 2011

21 Сентября 2011 09:13

Цитата

Boss пишет:
А в чем у вас проблема?

Цитата
serjoo пишет: Sitemap: _http://ozdorovlen.ru/sitemap.xml.gz

Зачем?
Disallow: */*/feed/*/
И это как то странно написано. У вас есть следующая строка после этой нормальная.

яндекс не индексирует, пишет Файл robots.txt содержит директиву, запрещающую роботу Яндекса индексирование этого документа. Чтобы робот мог проиндексировать документ, удалите запрещающую директиву. Проверить, какие страницы сайта запрещены для индексирования, вы можете в разделе «Анализ robots.txt». какую дерективу нужно удалить?

Новые темы	Объявления	Свободное общение
17:45 AviTool - мощный инструмент для автоматизации работы с Avito 15:31 adsense в 2026: кто реально выводит копейку через киргизию? 12:10 продажа ссылок с ai-сеток в 26-м- тема рип или просто все молчат? 15:04 Редирект на мобильных. Айболит и сканеры молчат 14:57 как оплатить claude и gpt-5 из рф в 2026 чтобы не забанили через три дня 14:36 Ворд Пресс (или его шаблон) перестал отображать <b> болд жирный 14:31 Robots txt	23:14 SOCKS5 приватные прокси на 30 дней для PayPal 23:13 Google Voice аккаунты для бесплатных SMS и звонков 23:08 PayPal аккаунты для любых целей 22:06 Onechange.me — надежный обменник криптовалют и фиатных средств 21:37 Необходим владелец аккаунта Wise - для вывода средств 19:13 GhostRocket.pro — Взлетаем в новую эру криптообмена! 16:54 Belurk — высокоскоростные анонимные прокси от 0,24 рублей	21:21 Панель Кнопки соцсетей 21:02 8 марта: желаю аптайма 99.9% и e-e-a-t без локов 19:32 молодильные яблоки и живая вода 15:29 Компьютерная мышь 12:46 Актуально для тех кто хочет заработать в интернете 12:22 Оцифровка старых физических фотографий 07:36 Точные прогнозы на футбол

Новые темы

Объявления

Свободное общение

17:45 AviTool - мощный инструмент для автоматизации работы с Avito
15:31 adsense в 2026: кто реально выводит копейку через киргизию?
12:10 продажа ссылок с ai-сеток в 26-м- тема рип или просто все молчат?
15:04 Редирект на мобильных. Айболит и сканеры молчат
14:57 как оплатить claude и gpt-5 из рф в 2026 чтобы не забанили через три дня
14:36 Ворд Пресс (или его шаблон) перестал отображать <b> болд жирный
14:31 Robots txt

23:14 SOCKS5 приватные прокси на 30 дней для PayPal
23:13 Google Voice аккаунты для бесплатных SMS и звонков
23:08 PayPal аккаунты для любых целей
22:06 Onechange.me — надежный обменник криптовалют и фиатных средств
21:37 Необходим владелец аккаунта Wise - для вывода средств
19:13 GhostRocket.pro — Взлетаем в новую эру криптообмена!
16:54 Belurk — высокоскоростные анонимные прокси от 0,24 рублей

21:21 Панель Кнопки соцсетей
21:02 8 марта: желаю аптайма 99.9% и e-e-a-t без локов
19:32 молодильные яблоки и живая вода
15:29 Компьютерная мышь
12:46 Актуально для тех кто хочет заработать в интернете
12:22 Оцифровка старых физических фотографий
07:36 Точные прогнозы на футбол

17.03.2026 21:58	С чего сейчас проще начать?
14.03.2026 15:01	Раскрутка форума
09.03.2026 10:12	Кто-то научился фильтровать новых ИИ-ботов? Метрика сходит с ума
09.03.2026 01:41	Смена струкуры URL сайта плохо для SEO?
09.03.2026 01:39	Как собрать все url страниц сайта?