Сайт на WP

Цитата
Дмитрий Смирнов пишет: При проверке сайта www.dtlc.ru разные сервисы (cy-pr, seopult) выдают "Файл robots.txt не настроен". Также супр пишет что и sitemap не настроенМожет кто нибудь помочь разобраться в чем дело? Спасибо!

Найдите любой популярный сайт на ВП, скопируйте у него роботс, подставьте в нужных местах свой домен и залейте на хостинг.
Лично я вот такой роботс на вп пользую

Цитата

User-agent: *
Disallow: /wp-login.php
Disallow: /wp-register.php
Disallow: /xmlrpc.php
Disallow: /cgi-bin
Disallow: /wp-admin
Disallow: /wp-includes
Disallow: /wp-content/plugins
Disallow: /wp-content/cache
Disallow: /wp-content/themes
Disallow: /trackback
Disallow: */trackback
Disallow: /comments
Disallow: */comments
Disallow: */*/feed/*/
Disallow: */feed
Crawl-delay: 4

User-agent: Yandex
Disallow: /wp-login.php
Disallow: /wp-register.php
Disallow: /xmlrpc.php
Disallow: /cgi-bin
Disallow: /wp-admin
Disallow: /wp-includes
Disallow: /wp-content/plugins
Disallow: /wp-content/cache
Disallow: /wp-content/themes
Disallow: /trackback
Disallow: */trackback
Disallow: /comments
Disallow: */comments
Disallow: */*/feed/*/
Disallow: */feed
Crawl-delay: 4
Host: mysite.ru

Sitemap: http://mysite.ru/sitemap.xml.gz
Sitemap: http://mysite.ru/sitemap.xml

Новые темы	Объявления	Свободное общение
15:38 LOSPOLLOS.COM - Конвертим по рецепту Хайзенберга. Dating, Mainstream, Binary Options 15:20 MAX попер в бурж: 40 стран, ведение каналов и горы дешевого трафика 15:09 А+ в MAX: Квитанция на получение денег 17:45 AviTool - мощный инструмент для автоматизации работы с Avito 15:31 adsense в 2026: кто реально выводит копейку через киргизию? 12:10 продажа ссылок с ai-сеток в 26-м- тема рип или просто все молчат? 15:04 Редирект на мобильных. Айболит и сканеры молчат	16:10 JustProxy.Biz - Резидентные прокси без ограничения по трафику 14:56 Продам аккаунты Gmail USA IP \| Gmail MIX IP \| Outlook Old 13:01 От $0.015 за IP \| $0.68 за ГБ \| 9PROXY.COM \| 20+ млн резидентных прокси \| 99,95% аптайм \| Без чёрных списков 12:09 MirExchange24.io - обмен криптовалют в крупнейших городах мира 10:29 RedMoonEx.com - cервис обмена: криптовалюты, наличные RUB, USD, EUR 10:08 Авито аккаунты ИП и физик 08:48 Swapwatch.org — Мониторинг криптовалютных обменников	16:39 Панель Кнопки соцсетей 09:28 молодильные яблоки и живая вода 21:02 8 марта: желаю аптайма 99.9% и e-e-a-t без локов 15:29 Компьютерная мышь 12:46 Актуально для тех кто хочет заработать в интернете 12:22 Оцифровка старых физических фотографий 07:36 Точные прогнозы на футбол

Новые темы

Объявления

Свободное общение

15:38 LOSPOLLOS.COM - Конвертим по рецепту Хайзенберга. Dating, Mainstream, Binary Options
15:20 MAX попер в бурж: 40 стран, ведение каналов и горы дешевого трафика
15:09 А+ в MAX: Квитанция на получение денег
17:45 AviTool - мощный инструмент для автоматизации работы с Avito
15:31 adsense в 2026: кто реально выводит копейку через киргизию?
12:10 продажа ссылок с ai-сеток в 26-м- тема рип или просто все молчат?
15:04 Редирект на мобильных. Айболит и сканеры молчат

16:10 JustProxy.Biz - Резидентные прокси без ограничения по трафику
14:56 Продам аккаунты Gmail USA IP | Gmail MIX IP | Outlook Old
13:01 От $0.015 за IP | $0.68 за ГБ | 9PROXY.COM | 20+ млн резидентных прокси | 99,95% аптайм | Без чёрных списков
12:09 MirExchange24.io - обмен криптовалют в крупнейших городах мира
10:29 RedMoonEx.com - cервис обмена: криптовалюты, наличные RUB, USD, EUR
10:08 Авито аккаунты ИП и физик
08:48 Swapwatch.org — Мониторинг криптовалютных обменников

16:39 Панель Кнопки соцсетей
09:28 молодильные яблоки и живая вода
21:02 8 марта: желаю аптайма 99.9% и e-e-a-t без локов
15:29 Компьютерная мышь
12:46 Актуально для тех кто хочет заработать в интернете
12:22 Оцифровка старых физических фотографий
07:36 Точные прогнозы на футбол

21.01.2026 16:05	Почему ваш сервер тормозит: это не DDOS, это нейросети "кушают" ваш контент
01.05.2025 18:53	Настройка плагина для wordpress Price Shop
11.04.2025 17:42	Создание сайтов стало проще: WordPress представляет AI-инструмент
21.03.2025 19:38	Владельцы сайтов на WordPress под угрозой: как вредонос DollyWay крадёт ваш трафик
12.03.2025 18:50	Как сделать ссылку видимой на вордпресс тема Jarida ?