Сайт на WP

Цитата
Дмитрий Смирнов пишет: При проверке сайта www.dtlc.ru разные сервисы (cy-pr, seopult) выдают "Файл robots.txt не настроен". Также супр пишет что и sitemap не настроенМожет кто нибудь помочь разобраться в чем дело? Спасибо!

Найдите любой популярный сайт на ВП, скопируйте у него роботс, подставьте в нужных местах свой домен и залейте на хостинг.
Лично я вот такой роботс на вп пользую

Цитата

User-agent: *
Disallow: /wp-login.php
Disallow: /wp-register.php
Disallow: /xmlrpc.php
Disallow: /cgi-bin
Disallow: /wp-admin
Disallow: /wp-includes
Disallow: /wp-content/plugins
Disallow: /wp-content/cache
Disallow: /wp-content/themes
Disallow: /trackback
Disallow: */trackback
Disallow: /comments
Disallow: */comments
Disallow: */*/feed/*/
Disallow: */feed
Crawl-delay: 4

User-agent: Yandex
Disallow: /wp-login.php
Disallow: /wp-register.php
Disallow: /xmlrpc.php
Disallow: /cgi-bin
Disallow: /wp-admin
Disallow: /wp-includes
Disallow: /wp-content/plugins
Disallow: /wp-content/cache
Disallow: /wp-content/themes
Disallow: /trackback
Disallow: */trackback
Disallow: /comments
Disallow: */comments
Disallow: */*/feed/*/
Disallow: */feed
Crawl-delay: 4
Host: mysite.ru

Sitemap: http://mysite.ru/sitemap.xml.gz
Sitemap: http://mysite.ru/sitemap.xml

Новые темы	Объявления	Свободное общение
15:36 Каких результатов Вы добились после подключения турбо страниц? 13:46 АП 21 октября Яндекс выдача \| Законник: Мне кажется Яша тупо отжал у Гугла хороший кусок мобильного трафа 13:33 АП 20 октября Яндекс выдача \| Jack SparroW: Если сайт ГС ему никакие ссылки не помогут 13:24 Отрубается база данных 05:55 Вывод последних записей с изображениями 03:32 Яндекс.Директ запускает рубрику "Прямая линия", ответит на вопросы о Директе 21:15 Зачем нужна накрутка трафика, что она дает?	14:54 Рерайт 10р/1к 14:37 Продам канал Яндекс Дзен, на монете, анкета не заполнена. 13:51 Онлайн сервис для широкого круга людей, доход (адсенс) 11:29 ФОРУМ 07:56 Быстрые Dedicated servers, Выделенные сервера, Дедики 01:29 Продам трастовый IT сайт vise.im, возраст 6 лет, ТИЦ 50 00:24 Продам Стоматологический сайт 400 уников	15:36 Шаблон DLE 15:21 Замена тега H1 на H2 в DLE 11:27 РИА Новости: Криптовалютная лихорадка в мире начинает сходить на нет, заявила Набиуллина 20:53 С наступающим Новым Годом 2019! 17:46 Автоматический сервис продвижения(накрутки). 18 соц сетей! Бонус местным! 16:16 Конверт трафика инстаграмм 16:00 Скрины спама

Новые темы

Объявления

Свободное общение

15:36 Каких результатов Вы добились после подключения турбо страниц?
13:46 АП 21 октября Яндекс выдача | Законник: Мне кажется Яша тупо отжал у Гугла хороший кусок мобильного трафа
13:33 АП 20 октября Яндекс выдача | Jack SparroW: Если сайт ГС ему никакие ссылки не помогут
13:24 Отрубается база данных
05:55 Вывод последних записей с изображениями
03:32 Яндекс.Директ запускает рубрику "Прямая линия", ответит на вопросы о Директе
21:15 Зачем нужна накрутка трафика, что она дает?

14:54 Рерайт 10р/1к
14:37 Продам канал Яндекс Дзен, на монете, анкета не заполнена.
13:51 Онлайн сервис для широкого круга людей, доход (адсенс)
11:29 ФОРУМ
07:56 Быстрые Dedicated servers, Выделенные сервера, Дедики
01:29 Продам трастовый IT сайт vise.im, возраст 6 лет, ТИЦ 50
00:24 Продам Стоматологический сайт 400 уников

15:36 Шаблон DLE
15:21 Замена тега H1 на H2 в DLE
11:27 РИА Новости: Криптовалютная лихорадка в мире начинает сходить на нет, заявила Набиуллина
20:53 С наступающим Новым Годом 2019!
17:46 Автоматический сервис продвижения(накрутки). 18 соц сетей! Бонус местным!
16:16 Конверт трафика инстаграмм
16:00 Скрины спама

18.10.2018 09:46	Помогите WPGrabber Статьи парсятся без картинок - сбой сервера
17.10.2018 22:00	Масштабное изменение структуры сайта на Wordpress
16.10.2018 15:12	Перенос сайта с uCoz на Wordpress. Редиректы и болезненные моменты ...
08.10.2018 11:06	# в адресе страницы
07.10.2018 11:03	Помогите исправить ошибку (Вордпресс)