Сайт на WP

Цитата
Дмитрий Смирнов пишет: При проверке сайта www.dtlc.ru разные сервисы (cy-pr, seopult) выдают "Файл robots.txt не настроен". Также супр пишет что и sitemap не настроенМожет кто нибудь помочь разобраться в чем дело? Спасибо!

Найдите любой популярный сайт на ВП, скопируйте у него роботс, подставьте в нужных местах свой домен и залейте на хостинг.
Лично я вот такой роботс на вп пользую

Цитата

User-agent: *
Disallow: /wp-login.php
Disallow: /wp-register.php
Disallow: /xmlrpc.php
Disallow: /cgi-bin
Disallow: /wp-admin
Disallow: /wp-includes
Disallow: /wp-content/plugins
Disallow: /wp-content/cache
Disallow: /wp-content/themes
Disallow: /trackback
Disallow: */trackback
Disallow: /comments
Disallow: */comments
Disallow: */*/feed/*/
Disallow: */feed
Crawl-delay: 4

User-agent: Yandex
Disallow: /wp-login.php
Disallow: /wp-register.php
Disallow: /xmlrpc.php
Disallow: /cgi-bin
Disallow: /wp-admin
Disallow: /wp-includes
Disallow: /wp-content/plugins
Disallow: /wp-content/cache
Disallow: /wp-content/themes
Disallow: /trackback
Disallow: */trackback
Disallow: /comments
Disallow: */comments
Disallow: */*/feed/*/
Disallow: */feed
Crawl-delay: 4
Host: mysite.ru

Sitemap: http://mysite.ru/sitemap.xml.gz
Sitemap: http://mysite.ru/sitemap.xml

Новые темы	Объявления	Свободное общение
20:40 01.02. Апдейт 31.01 // Chrome готовит "чёрную метку" для ИИ? 20:24 РСЯ и тормоза сайта: Яндекс начал штрафовать за плохой PageSpeed? 19:16 Как безопасно купить Гугл почту? 13:45 Какой движок выбрать для форума? 13:43 Нашел скрины выплат с Сапы за 2010 год. Пошел плакать 09:26 Трафик пробил дно? Худший январь за 10 лет и внезапный рост продаж с Bing 19:27 Плагин ответа	20:21 CryptoGraph — Анонимный обмен криптовалют без KYC и AML 12:09 Trustpilot Reviews \| Подниму рейтинг вашей компании 12:07 Купить отзывы на Яндекс и Гугл картах, на Авито, на Отзовике и IRecommend 12:06 №1 Рассылка / Инвайтинг [TELEGRAM] \| Приватный метод 11:59 Продвижение сайта: [SEO-трафик][Вывод в ТОП][Крауд-маркетинг + SEO] 11:58 Продвижение YouTube видео в топ поиска \| Любой тип контента \| Гарантия результата 11:58 Современный скрипт обменника электронных валют	20:38 [AI] Бот за $600к советовал есть сыр с крысами. Нью-Йорк его (наконец-то) снес 13:38 Осталось 3-5 месяцев до блокировки YouTube в России, — заявил Клименко 07:11 Список обновленных тем пуст... 05:23 Точные прогнозы на футбол 01:02 Ставки на супер тренды в спорте 17:02 Gartner обещал смерть SEO к 2026 году. Открываем метрику и проверяем 08:25 Отвратительное поведение

Новые темы

Объявления

Свободное общение

20:40 01.02. Апдейт 31.01 // Chrome готовит "чёрную метку" для ИИ?
20:24 РСЯ и тормоза сайта: Яндекс начал штрафовать за плохой PageSpeed?
19:16 Как безопасно купить Гугл почту?
13:45 Какой движок выбрать для форума?
13:43 Нашел скрины выплат с Сапы за 2010 год. Пошел плакать
09:26 Трафик пробил дно? Худший январь за 10 лет и внезапный рост продаж с Bing
19:27 Плагин ответа

20:21 CryptoGraph — Анонимный обмен криптовалют без KYC и AML
12:09 Trustpilot Reviews | Подниму рейтинг вашей компании
12:07 Купить отзывы на Яндекс и Гугл картах, на Авито, на Отзовике и IRecommend
12:06 №1 Рассылка / Инвайтинг [TELEGRAM] | Приватный метод
11:59 Продвижение сайта: [SEO-трафик][Вывод в ТОП][Крауд-маркетинг + SEO]
11:58 Продвижение YouTube видео в топ поиска | Любой тип контента | Гарантия результата
11:58 Современный скрипт обменника электронных валют

20:38 [AI] Бот за $600к советовал есть сыр с крысами. Нью-Йорк его (наконец-то) снес
13:38 Осталось 3-5 месяцев до блокировки YouTube в России, — заявил Клименко
07:11 Список обновленных тем пуст...
05:23 Точные прогнозы на футбол
01:02 Ставки на супер тренды в спорте
17:02 Gartner обещал смерть SEO к 2026 году. Открываем метрику и проверяем
08:25 Отвратительное поведение

21.01.2026 16:05	Почему ваш сервер тормозит: это не DDOS, это нейросети "кушают" ваш контент
01.05.2025 18:53	Настройка плагина для wordpress Price Shop
11.04.2025 17:42	Создание сайтов стало проще: WordPress представляет AI-инструмент
21.03.2025 19:38	Владельцы сайтов на WordPress под угрозой: как вредонос DollyWay крадёт ваш трафик
12.03.2025 18:50	Как сделать ссылку видимой на вордпресс тема Jarida ?