Сайт на WP
Страницы: 1
Сайт на WP, Проблема с robots.txt
При проверке сайта www.dtlc.ru разные сервисы (cy-pr, seopult) выдают "Файл robots.txt не настроен". Также супр пишет что и sitemap не настроенМожет кто нибудь помочь разобраться в чем дело?
Спасибо!

Бесплатная контекстная реклама

Цитата
Дмитрий Смирнов пишет:
При проверке сайта www.dtlc.ru разные сервисы (cy-pr, seopult) выдают "Файл robots.txt не настроен". Также супр пишет что и sitemap не настроенМожет кто нибудь помочь разобраться в чем дело?
Спасибо!

Найдите любой популярный сайт на ВП, скопируйте у него роботс, подставьте в нужных местах свой домен и залейте на хостинг. 
Лично я вот такой роботс на вп пользую 

Цитата

User-agent: *
Disallow: /wp-login.php
Disallow: /wp-register.php
Disallow: /xmlrpc.php
Disallow: /cgi-bin
Disallow: /wp-admin
Disallow: /wp-includes
Disallow: /wp-content/plugins
Disallow: /wp-content/cache
Disallow: /wp-content/themes
Disallow: /trackback
Disallow: */trackback
Disallow: /comments
Disallow: */comments
Disallow: */*/feed/*/
Disallow: */feed
Crawl-delay: 4

User-agent: Yandex
Disallow: /wp-login.php
Disallow: /wp-register.php
Disallow: /xmlrpc.php
Disallow: /cgi-bin
Disallow: /wp-admin
Disallow: /wp-includes
Disallow: /wp-content/plugins
Disallow: /wp-content/cache
Disallow: /wp-content/themes
Disallow: /trackback
Disallow: */trackback
Disallow: /comments
Disallow: */comments
Disallow: */*/feed/*/
Disallow: */feed
Crawl-delay: 4
Host: mysite.ru

Sitemap: http://mysite.ru/sitemap.xml.gz
Sitemap: http://mysite.ru/sitemap.xml
Страницы: 1
Похожие темы:
Читают тему (гостей: 1, пользователей: 0, из них скрытых: 0)
Новые темыОбъявленияСвободное общение
21:17 Adsense личный опыт 
20:54 Как автоматически реализовать скачку файлов с задержкой 9-15 секунд 
15:57 Помогите с сайтом 
14:59 Нужно обнулить движок «GOLDSVET» 
13:33 Отзывы на Google maps 
11:51 Размытие изображений 
10:46 10 хуков для Вордпресс 
22:19 Безанкорно, анкорно - безанкорно профильный прогон 
22:00 Прогон по twitter-аккаунтам, быстрая индексация страниц и продвижение НЧ запросов 
20:16 Вечные ссылки с ТОПОВЫХ ресурсов! Размещение вечных трастовых ссылок с тИЦ от + 1000 до +45000 
20:09 Продажа базы флирансеров. 
19:55 Linken Sphere – браузер-антидетект нового поколения 
16:27 Кино сайт (19000 фильмов) 
15:24 Продам канал на Яндекс.Дзене - Тема женская 
13:37 Обмен приват24 на вебмани 
10:36 Как выучить правила? - Автошкола 
08:22 Оффтопик для конкурса 5 000 руб. и мини конкурса 1 000 руб. 
00:22 Подскажите сервис смс подтверждения регистрации на сайте 
18:03 Доменная зона .ru для адалта, опасно? или нет? 
18:01 Чем монетизируете АДАЛТ? 
15:20 Кому пришла выплата с AdSense?