Сайт на WP

Цитата
Дмитрий Смирнов пишет: При проверке сайта www.dtlc.ru разные сервисы (cy-pr, seopult) выдают "Файл robots.txt не настроен". Также супр пишет что и sitemap не настроенМожет кто нибудь помочь разобраться в чем дело? Спасибо!

Найдите любой популярный сайт на ВП, скопируйте у него роботс, подставьте в нужных местах свой домен и залейте на хостинг.
Лично я вот такой роботс на вп пользую

Цитата

User-agent: *
Disallow: /wp-login.php
Disallow: /wp-register.php
Disallow: /xmlrpc.php
Disallow: /cgi-bin
Disallow: /wp-admin
Disallow: /wp-includes
Disallow: /wp-content/plugins
Disallow: /wp-content/cache
Disallow: /wp-content/themes
Disallow: /trackback
Disallow: */trackback
Disallow: /comments
Disallow: */comments
Disallow: */*/feed/*/
Disallow: */feed
Crawl-delay: 4

User-agent: Yandex
Disallow: /wp-login.php
Disallow: /wp-register.php
Disallow: /xmlrpc.php
Disallow: /cgi-bin
Disallow: /wp-admin
Disallow: /wp-includes
Disallow: /wp-content/plugins
Disallow: /wp-content/cache
Disallow: /wp-content/themes
Disallow: /trackback
Disallow: */trackback
Disallow: /comments
Disallow: */comments
Disallow: */*/feed/*/
Disallow: */feed
Crawl-delay: 4
Host: mysite.ru

Sitemap: http://mysite.ru/sitemap.xml.gz
Sitemap: http://mysite.ru/sitemap.xml

Новые темы	Объявления	Свободное общение
19:25 "Яндекс" представил новую версию "Браузера" 15:44 Проблема индексации Гуглом новых ссылок? 15:35 О пятничной выдаче в субботу 15:10 Если страница не заходит в гугл 22:00 3snet - гемблинг, беттинг, форекс, бинарные опционы, майнинг 18:20 Покупные ссылки 16:22 Где найти "Независимое управление для разных типов площадок."?	18:37 ВК Целевая аудитория в вашу группу/живые реальные пользователи! Не офферы/боты. Без банов и списаний. Гарантия! 15:29 BetaTransfer касса — это надежный сервис приема платежей в сфере High Risk 12:56 За быстрыми выплатами иди к CPA.Rocks 12:34 SMMexpert.biz - Накрутка соц.сетей от экспертов рынка! 21:39 Профильный прогон 200 рублей, Тиц (Икс) от 10, проверен Checktrust 19:09 Хотите заказать статью для сайта на английском языке? 19:05 Вёрстка и дизайн сайтов	21:07 Несколько слов о том, почему ты должен выбрать нас! 21:04 Вредоносный код добавили в аддоны Nano Adblocker и Nano Defender для Chrome 15:42 Ученый подозревает Google в попытках перепрограммировать человечество 17:22 Павел Дуров назвал три самые недооцененные вещи в жизни 17:17 Linux - это максимальная свобода 12:07 Ищу партнерку под Web Push Notifications 20:22 YouTube запретит получать доход с видео, отрицающих изменения климата

Новые темы

Объявления

Свободное общение

19:25 "Яндекс" представил новую версию "Браузера"
15:44 Проблема индексации Гуглом новых ссылок?
15:35 О пятничной выдаче в субботу
15:10 Если страница не заходит в гугл
22:00 3snet - гемблинг, беттинг, форекс, бинарные опционы, майнинг
18:20 Покупные ссылки
16:22 Где найти "Независимое управление для разных типов площадок."?

18:37 ВК Целевая аудитория в вашу группу/живые реальные пользователи! Не офферы/боты. Без банов и списаний. Гарантия!
15:29 BetaTransfer касса — это надежный сервис приема платежей в сфере High Risk
12:56 За быстрыми выплатами иди к CPA.Rocks
12:34 SMMexpert.biz - Накрутка соц.сетей от экспертов рынка!
21:39 Профильный прогон 200 рублей, Тиц (Икс) от 10, проверен Checktrust
19:09 Хотите заказать статью для сайта на английском языке?
19:05 Вёрстка и дизайн сайтов

21:07 Несколько слов о том, почему ты должен выбрать нас!
21:04 Вредоносный код добавили в аддоны Nano Adblocker и Nano Defender для Chrome
15:42 Ученый подозревает Google в попытках перепрограммировать человечество
17:22 Павел Дуров назвал три самые недооцененные вещи в жизни
17:17 Linux - это максимальная свобода
12:07 Ищу партнерку под Web Push Notifications
20:22 YouTube запретит получать доход с видео, отрицающих изменения климата

05.10.2021 21:02	Как указать количество сообщений на bbpress?
15.08.2021 17:39	Как убрать смещение меню сайта
15.08.2021 13:02	Галерея для вордпресс как в Google Play
07.05.2021 01:48	Страницы медиафайлов vs. обычные
06.05.2021 00:57	Новый AIOSEO, слов нет, один мат