Сайт на WP
Страницы: 1
Сайт на WP, Проблема с robots.txt
При проверке сайта www.dtlc.ru разные сервисы (cy-pr, seopult) выдают "Файл robots.txt не настроен". Также супр пишет что и sitemap не настроенМожет кто нибудь помочь разобраться в чем дело?
Спасибо!
Цитата
Дмитрий Смирнов пишет:
При проверке сайта www.dtlc.ru разные сервисы (cy-pr, seopult) выдают "Файл robots.txt не настроен". Также супр пишет что и sitemap не настроенМожет кто нибудь помочь разобраться в чем дело?
Спасибо!

Найдите любой популярный сайт на ВП, скопируйте у него роботс, подставьте в нужных местах свой домен и залейте на хостинг. 
Лично я вот такой роботс на вп пользую 

Цитата

User-agent: *
Disallow: /wp-login.php
Disallow: /wp-register.php
Disallow: /xmlrpc.php
Disallow: /cgi-bin
Disallow: /wp-admin
Disallow: /wp-includes
Disallow: /wp-content/plugins
Disallow: /wp-content/cache
Disallow: /wp-content/themes
Disallow: /trackback
Disallow: */trackback
Disallow: /comments
Disallow: */comments
Disallow: */*/feed/*/
Disallow: */feed
Crawl-delay: 4

User-agent: Yandex
Disallow: /wp-login.php
Disallow: /wp-register.php
Disallow: /xmlrpc.php
Disallow: /cgi-bin
Disallow: /wp-admin
Disallow: /wp-includes
Disallow: /wp-content/plugins
Disallow: /wp-content/cache
Disallow: /wp-content/themes
Disallow: /trackback
Disallow: */trackback
Disallow: /comments
Disallow: */comments
Disallow: */*/feed/*/
Disallow: */feed
Crawl-delay: 4
Host: mysite.ru

Sitemap: http://mysite.ru/sitemap.xml.gz
Sitemap: http://mysite.ru/sitemap.xml
Страницы: 1
Похожие темы:
Читают тему (гостей: 1, пользователей: 0, из них скрытых: 0)
Новые темыОбъявленияСвободное общение
23:24 Рекламная сеть яндекса личный опыт 
20:56 Webvork - международная товарная СРА сеть с сертифицированными офферами на Европу. 
19:45 Появились стране ссылки в ЯВ 
19:04 Финский дата-центр Яндекса уже более 10 суток работает на дизель-генераторах 
18:37 Версия РНР 
18:32 Апдейт Яндекс выдача 25.09.2022 
17:00 Апдейт Яндекс выдача 26.09.2022 
22:30 Первый шаг на пути к SEO-агенству | Ищу клиента срочно! 
22:02 Сайт за 1 день 
19:36 Комплексный прогон по трастовым сайтам, статейное размещение. Рост НЧ-СЧ, Тиц-пр. 
19:10 Продам домен mne.su 
18:28 ProxyWins.com - 15% по промо-коду "venividivici" 
10:58 Ural-obmen.ru — выгодный сервис обмена 
10:25 Obama.ru - безопасный обмен криптовалют и электронных денежных средств 
22:46 С юмором по жизни! 
19:32 На каких ресурсах есть кинохроника, которая вызывает доверие? 
19:30 Куда делся дефицит чипов? Производители микросхем жалуются на переполненные склады 
19:27 Курс доллара упал ниже 85 рублей 
18:59 Стряхнуть обыденность - об Агасфере 
18:35 Какой фильм посмотреть сегодня вечером? 
18:28 В Финляндии арестованы активы «Яндекса»