Дамы и господа, плис помогите с робот текстом

Сообщений: 268 Регистрация: Мар 2012

17 Апреля 2015 20:24

Яша тупо выкидывает страницы, пишет запрещено в роботе, подобный робот стоит уже давно на нескольких сайтах, там проблем вроде не было(

User-agent: Yandex
Disallow: /cgi-bin
Disallow: /wp-admin
Disallow: /wp-login
Disallow: /wp-includes
Disallow: /wp-content/plugins
Disallow: /wp-content/cache
Disallow: /wp-content/themes
Disallow: /trackback
Disallow: /feed
Disallow: */trackback
Disallow: */feed
Host: site.ru

User-agent: *
Disallow: /cgi-bin
Disallow: /wp-admin
Disallow: /wp-login
Disallow: /wp-includes
Disallow: /wp-content/plugins
Disallow: /wp-content/cache
Disallow: /wp-content/themes
Disallow: /trackback
Disallow: /feed
Disallow: */trackback
Disallow: */feed

Sitemap: http://site/sitemap.xml

Coder

Сообщений: 10726 Регистрация: Мар 2013

17 Апреля 2015 21:11

Посмотрите: _http://wpnew.ru/raskrutka-bloga/seo_optimizaciya/fajl-robots-txt-pravilnyj-primer-na-wordpress-dlya-yandeksa.html

✓ Проверенные скрипты и полезности для сайта

✓ Курсы

✓ Сервис временных ссылок

Sasha Minsky

Сообщений: 480 Регистрация: Апр 2013

17 Апреля 2015 23:05

Не уверен, что здесь тот же случай, но у меня так было у очень нового сайта, около месяца. Я тоже испугался, уж не ошибся ли в роботсе, но оно в итоге само собой прошло:confused:

Дмитрий

Сообщений: 119 Регистрация: Окт 2012

17 Апреля 2015 23:39

Сделайте так лучше:

Код

User-agent: * 
Disallow: /cgi-bin 
Disallow: /wp-admin 
Disallow: /wp-login 
Disallow: /wp-includes 
Disallow: /wp-content/plugins 
Disallow: /wp-content/cache 
Disallow: /wp-content/themes 
Disallow: /trackback 
Disallow: /feed 
Disallow: */trackback 
Disallow: */feed 
Host: site.ru 
Sitemap: <a href=\"http://site/sitemap.xml\" target=\"_blank\">http://site/sitemap.xml</a>

Самая лучшая WAP партнёрка, которая принимает абсолютно ВЕСЬ!!! мобильный трафик.

Новые темы	Объявления	Свободное общение
12:35 Телега на ручнике: РКН включил замедление и логи админок покраснели 11:21 WB и Ozon - новые "русские поисковики"? Яндекс теряет коммерческую выдачу 21:45 Раскрутка форума 21:27 SEO под нейро 20:51 MAX выкатил приватные каналы - закрытые тусы теперь лепишь за минуту 18:07 Гугл уходит из России: почему интернет тормозит и что делать 15:17 LOSPOLLOS.COM - Конвертим по рецепту Хайзенберга. Dating, Mainstream, Binary Options	09:02 Swapwatch.org — Мониторинг криптовалютных обменников 22:42 BestX24 - быстрый и безопасный обменник криптовалют и электронных денежных средств 19:41 CryptoGraph — Анонимный обмен криптовалют без KYC и AML 16:31 Рассылки СМС/SMS, Вайбер/Viber, Ватсап/Whatsapp, Телеграм/Telegram любой тематики по всему миру 11:47 Monitex: Мониторинг с кэшбэком 80% в USDT 09:38 Мониторинг обменников Сrypto-scout.io 04:12 Просто $0.04/IP 9PROXY.COM Резидентные прокси Неограниченная пропускная способность Уникальная политика замены Без чёрного списка	11:19 блокировка youtube 2026: ркн начинает «выдавливание». кто уже пробовал вк видео? 08:51 Точные прогнозы на футбол 05:37 Промокоды на 10% скидку на покупку в магазине 21:36 SIM к IMEI и лимиты на карты: итоги первого чтения в Думе 19:26 Туалетные секреты: Замурчательная тема 18:53 [AI] Бот за $600к советовал есть сыр с крысами. Нью-Йорк его (наконец-то) снес 09:02 Ставки на супер тренды в спорте

Новые темы

Объявления

Свободное общение

12:35 Телега на ручнике: РКН включил замедление и логи админок покраснели
11:21 WB и Ozon - новые "русские поисковики"? Яндекс теряет коммерческую выдачу
21:45 Раскрутка форума
21:27 SEO под нейро
20:51 MAX выкатил приватные каналы - закрытые тусы теперь лепишь за минуту
18:07 Гугл уходит из России: почему интернет тормозит и что делать
15:17 LOSPOLLOS.COM - Конвертим по рецепту Хайзенберга. Dating, Mainstream, Binary Options

09:02 Swapwatch.org — Мониторинг криптовалютных обменников
22:42 BestX24 - быстрый и безопасный обменник криптовалют и электронных денежных средств
19:41 CryptoGraph — Анонимный обмен криптовалют без KYC и AML
16:31 Рассылки СМС/SMS, Вайбер/Viber, Ватсап/Whatsapp, Телеграм/Telegram любой тематики по всему миру
11:47 Monitex: Мониторинг с кэшбэком 80% в USDT
09:38 Мониторинг обменников Сrypto-scout.io
04:12 Просто $0.04/IP 9PROXY.COM Резидентные прокси Неограниченная пропускная способность Уникальная политика замены Без чёрного списка

11:19 блокировка youtube 2026: ркн начинает «выдавливание». кто уже пробовал вк видео?
08:51 Точные прогнозы на футбол
05:37 Промокоды на 10% скидку на покупку в магазине
21:36 SIM к IMEI и лимиты на карты: итоги первого чтения в Думе
19:26 Туалетные секреты: Замурчательная тема
18:53 [AI] Бот за $600к советовал есть сыр с крысами. Нью-Йорк его (наконец-то) снес
09:02 Ставки на супер тренды в спорте

08.05.2014 11:11	Покидайте в нас камни господа
25.08.2013 15:57	Господа, нужна помощь.
27.09.2011 12:55	Дамы и господа, не подскажите...