Документ запрещен в файле robots.txt

Сообщений: 120 Регистрация: Янв 2014

18 Марта 2016 08:48

Проблема в роботе яндексa, пишет:

Документ запрещен в файле robots.txt - 1839

robots. у меня такой:

User-agent: *
Disallow: /cgi-bin
Disallow: /wp-admin
Disallow: /wp-includes
Disallow: /comments
Disallow: */comments
Disallow: /trackback
Disallow: */trackback
Disallow: */*/trackback
Disallow: */*/feed/*/
Disallow: */feed
Disallow: /*?*
Host: www.site.com

Sitemap: http://www.site.com//sitemap.xml.gz
Sitemap: http://www.site.com//sitemap.xml

Помогите плиз что с robot.txt не так?

Изменено: tet-a-tet - 18 Марта 2016 08:49

БиК-14

Сообщений: 441 Регистрация: Окт 2015

18 Марта 2016 09:14

а проблема то в чем? какая то нужная страница в индекс не попала? дак покажите эту страницу тогда. А так обычный роботс для вп

tet-a-tet

Сообщений: 120 Регистрация: Янв 2014

18 Марта 2016 09:33

1839 страниц не попали в индекс, обычные статьи ни чем не отличаются от тех что проиндексированны

БиК-14 Сообщений: 441 Регистрация: Окт 2015	#4 18 Марта 2016 09:51 вы можете привести пример статьи которая не попала в индекс? без этого мы не увидим что в роботе могло на это повлиять

Новые темы	Объявления	Свободное общение
10:02 Бесплатное получение бэклинков 10:01 Бесплатное расширение для Chrome — проверка ссылок прямо на странице 23:53 Выбор CMS для первого блога в 2026 - реально ли новичку войти без кода? 22:30 MAX попер в бурж: 40 стран, ведение каналов и горы дешевого трафика 22:21 Слипание слов в блоке 22:13 Гугл запустил Первый АПдейт года и серп уже трясёт - Google March 2026 Core Update 22:05 С чего сейчас проще начать?	09:40 Вериф аккаунты АВИТО + платежи 09:22 Софт для рассылки в телеграм 09:16 Telegram-бот конструктор: автоответы, воронки, поддержка и т.д 00:05 TETChange-Обменник криптовалют 22:39 Создам под вашу нишу сетку сайтов-сателлитов для привлечения целевого трафика 22:17 Продам домен translated.ru 21:00 Portfel.cc - современный помощник в Ваших финансовых операциях.	23:08 Голландцы влепили Grok по яйцам - теперь нельзя раздевать реальных людей, штраф 100к евро в день 18:49 Чак Норрис ушел - 19 марта 2026, 86 лет, семья подтвердила 17:05 Огородники 13:41 8 марта: желаю аптайма 99.9% и e-e-a-t без локов 13:02 С юмором по жизни! 05:10 Точные прогнозы на футбол 16:47 Какой фильм вы любите посмотреть перед сном?

Новые темы

Объявления

Свободное общение

10:02 Бесплатное получение бэклинков
10:01 Бесплатное расширение для Chrome — проверка ссылок прямо на странице
23:53 Выбор CMS для первого блога в 2026 - реально ли новичку войти без кода?
22:30 MAX попер в бурж: 40 стран, ведение каналов и горы дешевого трафика
22:21 Слипание слов в блоке
22:13 Гугл запустил Первый АПдейт года и серп уже трясёт - Google March 2026 Core Update
22:05 С чего сейчас проще начать?

09:40 Вериф аккаунты АВИТО + платежи
09:22 Софт для рассылки в телеграм
09:16 Telegram-бот конструктор: автоответы, воронки, поддержка и т.д
00:05 TETChange-Обменник криптовалют
22:39 Создам под вашу нишу сетку сайтов-сателлитов для привлечения целевого трафика
22:17 Продам домен translated.ru
21:00 Portfel.cc - современный помощник в Ваших финансовых операциях.

23:08 Голландцы влепили Grok по яйцам - теперь нельзя раздевать реальных людей, штраф 100к евро в день
18:49 Чак Норрис ушел - 19 марта 2026, 86 лет, семья подтвердила
17:05 Огородники
13:41 8 марта: желаю аптайма 99.9% и e-e-a-t без локов
13:02 С юмором по жизни!
05:10 Точные прогнозы на футбол
16:47 Какой фильм вы любите посмотреть перед сном?

20.12.2019 21:30	Формат документа не поддерживается
27.08.2016 16:03	Информационный блог попал в реестр запрещённых сайтов, что делать?
29.06.2014 19:23	Исключенные страницы "Документ является неканоническим"
05.03.2013 10:50	Проблема с сайтом: Доступ к ресурсу запрещён (403)
11.07.2012 14:29	Яндекс исключил показывает страницы как запрещенные в robots.txt