Сайт на WP

Цитата
Дмитрий Смирнов пишет: При проверке сайта www.dtlc.ru разные сервисы (cy-pr, seopult) выдают "Файл robots.txt не настроен". Также супр пишет что и sitemap не настроенМожет кто нибудь помочь разобраться в чем дело? Спасибо!

Найдите любой популярный сайт на ВП, скопируйте у него роботс, подставьте в нужных местах свой домен и залейте на хостинг.
Лично я вот такой роботс на вп пользую

Цитата

User-agent: *
Disallow: /wp-login.php
Disallow: /wp-register.php
Disallow: /xmlrpc.php
Disallow: /cgi-bin
Disallow: /wp-admin
Disallow: /wp-includes
Disallow: /wp-content/plugins
Disallow: /wp-content/cache
Disallow: /wp-content/themes
Disallow: /trackback
Disallow: */trackback
Disallow: /comments
Disallow: */comments
Disallow: */*/feed/*/
Disallow: */feed
Crawl-delay: 4

User-agent: Yandex
Disallow: /wp-login.php
Disallow: /wp-register.php
Disallow: /xmlrpc.php
Disallow: /cgi-bin
Disallow: /wp-admin
Disallow: /wp-includes
Disallow: /wp-content/plugins
Disallow: /wp-content/cache
Disallow: /wp-content/themes
Disallow: /trackback
Disallow: */trackback
Disallow: /comments
Disallow: */comments
Disallow: */*/feed/*/
Disallow: */feed
Crawl-delay: 4
Host: mysite.ru

Sitemap: http://mysite.ru/sitemap.xml.gz
Sitemap: http://mysite.ru/sitemap.xml

Новые темы	Объявления	Свободное общение
09:13 Что можно улучшить 22:34 Продвижение в ТОП Яндекс. Мега быстро! 14:28 Berileads.ru - финансовая партнерская программа. 02:48 Предлагаем посмотреть порно ролики даром - pornosexrolik.com 19:38 Обновление поисковой базы 10.06.2019. 15:52 CPA-сеть MyLead - глобальная монетизация трафика! 15:46 SE Ranking - новый сервис проверки позиций сайтов в поисковиках	09:20 Продвижение сайтов максимально качественно, методы только белые, есть крутые кейсы!!! 09:10 Прогон по личной базе, больше 1000 трастовых сайтов! Продвижение СЧ и НЧ запросов + рост показателей! Гарантии! 09:06 Пожалуйста оцените сайт форум 09:01 "Спалю" тему как рекламироваться в Яндекс.Директ по гэмблинг (и другим) тематикам, помогу с прохождением модерации, отдам домен. 23:25 Веб-дизайн недорого! 21:48 Услуги постинга в социальные сети для продвижения, индексации и увеличения социальной активности 21:12 Продажа сайтов с икс и трафиком	09:09 Наши машинки 23:58 Сколько можно заработать на сайте с 60к уник траффом в день 21:36 В поисках ПП (Партнёрской Программы) 17:56 Инвайт на webmaster.ru please! 15:05 Букмекерские ставки 15:03 Деньги на бизнес 09:40 Сколько вы платите редактору?

Новые темы

Объявления

Свободное общение

09:13 Что можно улучшить
22:34 Продвижение в ТОП Яндекс. Мега быстро!
14:28 Berileads.ru - финансовая партнерская программа.
02:48 Предлагаем посмотреть порно ролики даром - pornosexrolik.com
19:38 Обновление поисковой базы 10.06.2019.
15:52 CPA-сеть MyLead - глобальная монетизация трафика!
15:46 SE Ranking - новый сервис проверки позиций сайтов в поисковиках

09:20 Продвижение сайтов максимально качественно, методы только белые, есть крутые кейсы!!!
09:10 Прогон по личной базе, больше 1000 трастовых сайтов! Продвижение СЧ и НЧ запросов + рост показателей! Гарантии!
09:06 Пожалуйста оцените сайт форум
09:01 "Спалю" тему как рекламироваться в Яндекс.Директ по гэмблинг (и другим) тематикам, помогу с прохождением модерации, отдам домен.
23:25 Веб-дизайн недорого!
21:48 Услуги постинга в социальные сети для продвижения, индексации и увеличения социальной активности
21:12 Продажа сайтов с икс и трафиком

09:09 Наши машинки
23:58 Сколько можно заработать на сайте с 60к уник траффом в день
21:36 В поисках ПП (Партнёрской Программы)
17:56 Инвайт на webmaster.ru please!
15:05 Букмекерские ставки
15:03 Деньги на бизнес
09:40 Сколько вы платите редактору?

09.06.2019 14:08	Бесплатная тема для ВП
07.06.2019 17:23	Подскажите плагин или скрипт
18.05.2019 20:42	Передача пароли юзеров из вордпресса в ларавел
09.05.2019 14:56	Вопрос к знатокам WPGrabber
09.05.2019 12:47	Помогите WPGrabber Статьи парсятся без картинок - сбой сервера