Дамы и господа, плис помогите с робот текстом

Сообщений: 268 Регистрация: Мар 2012

17 Апреля 2015 20:24

Яша тупо выкидывает страницы, пишет запрещено в роботе, подобный робот стоит уже давно на нескольких сайтах, там проблем вроде не было(

User-agent: Yandex
Disallow: /cgi-bin
Disallow: /wp-admin
Disallow: /wp-login
Disallow: /wp-includes
Disallow: /wp-content/plugins
Disallow: /wp-content/cache
Disallow: /wp-content/themes
Disallow: /trackback
Disallow: /feed
Disallow: */trackback
Disallow: */feed
Host: site.ru

User-agent: *
Disallow: /cgi-bin
Disallow: /wp-admin
Disallow: /wp-login
Disallow: /wp-includes
Disallow: /wp-content/plugins
Disallow: /wp-content/cache
Disallow: /wp-content/themes
Disallow: /trackback
Disallow: /feed
Disallow: */trackback
Disallow: */feed

Sitemap: http://site/sitemap.xml

Coder

Сообщений: 10781 Регистрация: Мар 2013

17 Апреля 2015 21:11

Посмотрите: _http://wpnew.ru/raskrutka-bloga/seo_optimizaciya/fajl-robots-txt-pravilnyj-primer-na-wordpress-dlya-yandeksa.html

✓ Проверенные скрипты и полезности для сайта

✓ Курсы

✓ Сервис временных ссылок

Sasha Minsky

Сообщений: 480 Регистрация: Апр 2013

17 Апреля 2015 23:05

Не уверен, что здесь тот же случай, но у меня так было у очень нового сайта, около месяца. Я тоже испугался, уж не ошибся ли в роботсе, но оно в итоге само собой прошло:confused:

Дмитрий

Сообщений: 119 Регистрация: Окт 2012

17 Апреля 2015 23:39

Сделайте так лучше:

Код

User-agent: * 
Disallow: /cgi-bin 
Disallow: /wp-admin 
Disallow: /wp-login 
Disallow: /wp-includes 
Disallow: /wp-content/plugins 
Disallow: /wp-content/cache 
Disallow: /wp-content/themes 
Disallow: /trackback 
Disallow: /feed 
Disallow: */trackback 
Disallow: */feed 
Host: site.ru 
Sitemap: <a href=\"http://site/sitemap.xml\" target=\"_blank\">http://site/sitemap.xml</a>

Самая лучшая WAP партнёрка, которая принимает абсолютно ВЕСЬ!!! мобильный трафик.

Новые темы	Объявления	Свободное общение
10:16 Бесплатное расширение для Chrome — проверка ссылок прямо на странице 10:15 ИКС Яндекс АПдейт 1 апреля 2026. Обновлён алгоритм расчёта 10:12 Gmail разрешил менять основной адрес - теперь можно убрать старые ники без переноса аккаунта 18:01 Раскрутка форума 13:23 Рост эффективности моего интернет‑магазина 21:08 Adsense личный опыт 18:19 Яндекс Нейро и выдача в 2026 - остались ли лазейки для маленьких сайтов?	09:45 EM24.biz - обмен валют 08:34 Swapwatch.org — Мониторинг криптовалютных обменников 04:06 От $0.015 за IP \| $0.68 за ГБ \| 9PROXY.COM \| 20+ млн резидентных прокси \| 99,95% аптайм \| Без чёрных списков 18:25 UltraXchina: Современный сервис обмена Alipay, USDT, Наличные 16:33 Продам сайт Домен РУ RU РФ c доменом www.доменру.рф 14:20 Продам базу данных предприятий Украины, России, Великобритании, Германии, Испании, Италии, Нидерландов, Польши, Франции, Швейцарии и др. 13:48 Мониторинг обменников Сrypto-scout.io	04:35 Точные прогнозы на футбол 22:45 С юмором по жизни! 22:32 8 марта: желаю аптайма 99.9% и e-e-a-t без локов 19:57 молодильные яблоки и живая вода 15:42 Голландцы влепили Grok по яйцам - теперь нельзя раздевать реальных людей, штраф 100к евро в день 07:17 Почему не обновляется счетчик ИКС (индекса качества сайта) 06:50 Ставки на супер тренды в спорте

Новые темы

Объявления

Свободное общение

10:16 Бесплатное расширение для Chrome — проверка ссылок прямо на странице
10:15 ИКС Яндекс АПдейт 1 апреля 2026. Обновлён алгоритм расчёта
10:12 Gmail разрешил менять основной адрес - теперь можно убрать старые ники без переноса аккаунта
18:01 Раскрутка форума
13:23 Рост эффективности моего интернет‑магазина
21:08 Adsense личный опыт
18:19 Яндекс Нейро и выдача в 2026 - остались ли лазейки для маленьких сайтов?

09:45 EM24.biz - обмен валют
08:34 Swapwatch.org — Мониторинг криптовалютных обменников
04:06 От $0.015 за IP | $0.68 за ГБ | 9PROXY.COM | 20+ млн резидентных прокси | 99,95% аптайм | Без чёрных списков
18:25 UltraXchina: Современный сервис обмена Alipay, USDT, Наличные
16:33 Продам сайт Домен РУ RU РФ c доменом www.доменру.рф
14:20 Продам базу данных предприятий Украины, России, Великобритании, Германии, Испании, Италии, Нидерландов, Польши, Франции, Швейцарии и др.
13:48 Мониторинг обменников Сrypto-scout.io

04:35 Точные прогнозы на футбол
22:45 С юмором по жизни!
22:32 8 марта: желаю аптайма 99.9% и e-e-a-t без локов
19:57 молодильные яблоки и живая вода
15:42 Голландцы влепили Grok по яйцам - теперь нельзя раздевать реальных людей, штраф 100к евро в день
07:17 Почему не обновляется счетчик ИКС (индекса качества сайта)
06:50 Ставки на супер тренды в спорте

08.05.2014 11:11	Покидайте в нас камни господа
25.08.2013 15:57	Господа, нужна помощь.
27.09.2011 12:55	Дамы и господа, не подскажите...