Сайт на WP
Страницы: 1
Сайт на WP, Проблема с robots.txt
При проверке сайта www.dtlc.ru разные сервисы (cy-pr, seopult) выдают "Файл robots.txt не настроен". Также супр пишет что и sitemap не настроенМожет кто нибудь помочь разобраться в чем дело?
Спасибо!
Цитата
Дмитрий Смирнов пишет:
При проверке сайта www.dtlc.ru разные сервисы (cy-pr, seopult) выдают "Файл robots.txt не настроен". Также супр пишет что и sitemap не настроенМожет кто нибудь помочь разобраться в чем дело?
Спасибо!

Найдите любой популярный сайт на ВП, скопируйте у него роботс, подставьте в нужных местах свой домен и залейте на хостинг. 
Лично я вот такой роботс на вп пользую 

Цитата

User-agent: *
Disallow: /wp-login.php
Disallow: /wp-register.php
Disallow: /xmlrpc.php
Disallow: /cgi-bin
Disallow: /wp-admin
Disallow: /wp-includes
Disallow: /wp-content/plugins
Disallow: /wp-content/cache
Disallow: /wp-content/themes
Disallow: /trackback
Disallow: */trackback
Disallow: /comments
Disallow: */comments
Disallow: */*/feed/*/
Disallow: */feed
Crawl-delay: 4

User-agent: Yandex
Disallow: /wp-login.php
Disallow: /wp-register.php
Disallow: /xmlrpc.php
Disallow: /cgi-bin
Disallow: /wp-admin
Disallow: /wp-includes
Disallow: /wp-content/plugins
Disallow: /wp-content/cache
Disallow: /wp-content/themes
Disallow: /trackback
Disallow: */trackback
Disallow: /comments
Disallow: */comments
Disallow: */*/feed/*/
Disallow: */feed
Crawl-delay: 4
Host: mysite.ru

Sitemap: http://mysite.ru/sitemap.xml.gz
Sitemap: http://mysite.ru/sitemap.xml
Страницы: 1
Похожие темы:
Читают тему (гостей: 1, пользователей: 0, из них скрытых: 0)
Новые темыОбъявленияСвободное общение
18:30 Webvork - международная товарная СРА сеть с сертифицированными офферами на Европу. 
15:56 Adtrafico - Правильная партнёрская сеть под бурж трафик 
10:38 Российская платформа Yappy начнет платить авторам за видео 
16:23 МyLead дает советы по продвижению 
15:50 Profit Pixels - In-House Форекс, Крипто, Трейдинг CPA Офферы | Еженедельные Выплаты | CPA до $950 
14:39 XEvil - софт для разгадывания капчи. Бесплатная демо-версия. Привязка к SEO/SMM-софту. 
14:11 Как сделать свой БУРЖ прокси-сервер 
15:32 Готовые аккаунты Яндекс Директ с пройденной модерацией, с отлежкой, трастовые 
16:16 ALTVPN.com - анонимный и безопасный VPN и Прокси сервис 
15:18 Ural-obmen.ru — выгодный сервис обмена 
13:48 Expa24.com Обмен Криптовалют. Ввод/Вывод наличные Украина/Северный Кипр/Мир 
13:38 Ручное размещение вечных статей и ссылок на хороших площадках. Опыт 15 лет! 
12:31 Дешевые просмотры YouTube с гарантией, лайки, подписчики Instagram, ВК, Facebook, ОK, Twitter - SmmPanele.Ru 
12:03 ProxyWins.com - 15% по промо-коду "venividivici" 
15:43 У кого Яндекс задерживает выплату в этом месяце? 
08:38 Список обновленных тем пуст... 
21:30 В России разработают литограф для производства чипов по 7-нм техпроцессу 
21:26 Как заставить себя? 
10:46 МТС нехорошие люди 
01:13 Платформа АНТИСТАВОК - ставки на события с обратным исходом! 
18:46 Сотрудники Wildberries готовят забастовку из-за штрафов за возврат товара