Документ запрещен в файле robots.txt

Сообщений: 120 Регистрация: Янв 2014

18 Марта 2016 08:48

Проблема в роботе яндексa, пишет:

Документ запрещен в файле robots.txt - 1839

robots. у меня такой:

User-agent: *
Disallow: /cgi-bin
Disallow: /wp-admin
Disallow: /wp-includes
Disallow: /comments
Disallow: */comments
Disallow: /trackback
Disallow: */trackback
Disallow: */*/trackback
Disallow: */*/feed/*/
Disallow: */feed
Disallow: /*?*
Host: www.site.com

Sitemap: http://www.site.com//sitemap.xml.gz
Sitemap: http://www.site.com//sitemap.xml

Помогите плиз что с robot.txt не так?

Изменено: tet-a-tet - 18 Марта 2016 08:49

БиК-14

Сообщений: 441 Регистрация: Окт 2015

18 Марта 2016 09:14

а проблема то в чем? какая то нужная страница в индекс не попала? дак покажите эту страницу тогда. А так обычный роботс для вп

tet-a-tet

Сообщений: 120 Регистрация: Янв 2014

18 Марта 2016 09:33

1839 страниц не попали в индекс, обычные статьи ни чем не отличаются от тех что проиндексированны

БиК-14 Сообщений: 441 Регистрация: Окт 2015	#4 18 Марта 2016 09:51 вы можете привести пример статьи которая не попала в индекс? без этого мы не увидим что в роботе могло на это повлиять

Новые темы	Объявления	Свободное общение
16:04 LGaming - экосистема и партнерская программа в gambling и betting вертикалях 11:48 Google - шантажист, а Cloudflare - не спаситель. Как не отлететь в бан 11:47 Старые кости или свежее мясо? Как нагнуть старичка в серпе за один год 11:45 10.02 Яндекс штормит, а Google лезет в долги: 15 миллиардов на железки для ИИ 20:18 ЕС душит ТикТок: прощай бесконечная лента и RPM? Что с монетизацией? 20:14 Гугл пухнет от кеша, а нам - крошки. Разбор $114 млрд: Адсенс в минусе, Ютуб на подписках 20:11 01.02. Апдейт 31.01 // Chrome готовит "чёрную метку" для ИИ?	04:08 Просто $0.04/IP 9PROXY.COM Резидентные прокси Неограниченная пропускная способность Уникальная политика замены Без чёрного списка 02:11 Crypto Mixer ↔ Bitcoin Mixer ↔ Cryptocurrency tumbler ↔ No-AML 20:15 Nexulume.com Обменник без AML и KYC 17:47 Продажа аккаунтов HH.RU 17:06 - Вечные ссылки с трастовых сайтов 2024 проверен FastTrust 16:53 Мобильные и Резидентные Прокси Для Соц Сетей \| 3 Гб Бесплатно 12:59 Mixmasters - Exchange without AML and KYC	01:00 Точные прогнозы на футбол 21:50 Кулеры и БП станут золотыми? Медь по 13 штук, олово в космосе 21:25 блокировка youtube 2026: ркн начинает «выдавливание». кто уже пробовал вк видео? 20:54 Туалетные секреты: Замурчательная тема 17:44 [AI] Бот за $600к советовал есть сыр с крысами. Нью-Йорк его (наконец-то) снес 15:24 Сайты Рунета 15:22 Moltbook: Соцсеть для ботов, где людям закрыли рот. Началось?

Новые темы

Объявления

Свободное общение

16:04 LGaming - экосистема и партнерская программа в gambling и betting вертикалях
11:48 Google - шантажист, а Cloudflare - не спаситель. Как не отлететь в бан
11:47 Старые кости или свежее мясо? Как нагнуть старичка в серпе за один год
11:45 10.02 Яндекс штормит, а Google лезет в долги: 15 миллиардов на железки для ИИ
20:18 ЕС душит ТикТок: прощай бесконечная лента и RPM? Что с монетизацией?
20:14 Гугл пухнет от кеша, а нам - крошки. Разбор $114 млрд: Адсенс в минусе, Ютуб на подписках
20:11 01.02. Апдейт 31.01 // Chrome готовит "чёрную метку" для ИИ?

04:08 Просто $0.04/IP 9PROXY.COM Резидентные прокси Неограниченная пропускная способность Уникальная политика замены Без чёрного списка
02:11 Crypto Mixer ↔ Bitcoin Mixer ↔ Cryptocurrency tumbler ↔ No-AML
20:15 Nexulume.com Обменник без AML и KYC
17:47 Продажа аккаунтов HH.RU
17:06 - Вечные ссылки с трастовых сайтов 2024 проверен FastTrust
16:53 Мобильные и Резидентные Прокси Для Соц Сетей | 3 Гб Бесплатно
12:59 Mixmasters - Exchange without AML and KYC

01:00 Точные прогнозы на футбол
21:50 Кулеры и БП станут золотыми? Медь по 13 штук, олово в космосе
21:25 блокировка youtube 2026: ркн начинает «выдавливание». кто уже пробовал вк видео?
20:54 Туалетные секреты: Замурчательная тема
17:44 [AI] Бот за $600к советовал есть сыр с крысами. Нью-Йорк его (наконец-то) снес
15:24 Сайты Рунета
15:22 Moltbook: Соцсеть для ботов, где людям закрыли рот. Началось?

20.12.2019 21:30	Формат документа не поддерживается
27.08.2016 16:03	Информационный блог попал в реестр запрещённых сайтов, что делать?
29.06.2014 19:23	Исключенные страницы "Документ является неканоническим"
05.03.2013 10:50	Проблема с сайтом: Доступ к ресурсу запрещён (403)
11.07.2012 14:29	Яндекс исключил показывает страницы как запрещенные в robots.txt