Сайт на WP

Цитата
Дмитрий Смирнов пишет: При проверке сайта www.dtlc.ru разные сервисы (cy-pr, seopult) выдают "Файл robots.txt не настроен". Также супр пишет что и sitemap не настроенМожет кто нибудь помочь разобраться в чем дело? Спасибо!

Найдите любой популярный сайт на ВП, скопируйте у него роботс, подставьте в нужных местах свой домен и залейте на хостинг.
Лично я вот такой роботс на вп пользую

Цитата

User-agent: *
Disallow: /wp-login.php
Disallow: /wp-register.php
Disallow: /xmlrpc.php
Disallow: /cgi-bin
Disallow: /wp-admin
Disallow: /wp-includes
Disallow: /wp-content/plugins
Disallow: /wp-content/cache
Disallow: /wp-content/themes
Disallow: /trackback
Disallow: */trackback
Disallow: /comments
Disallow: */comments
Disallow: */*/feed/*/
Disallow: */feed
Crawl-delay: 4

User-agent: Yandex
Disallow: /wp-login.php
Disallow: /wp-register.php
Disallow: /xmlrpc.php
Disallow: /cgi-bin
Disallow: /wp-admin
Disallow: /wp-includes
Disallow: /wp-content/plugins
Disallow: /wp-content/cache
Disallow: /wp-content/themes
Disallow: /trackback
Disallow: */trackback
Disallow: /comments
Disallow: */comments
Disallow: */*/feed/*/
Disallow: */feed
Crawl-delay: 4
Host: mysite.ru

Sitemap: http://mysite.ru/sitemap.xml.gz
Sitemap: http://mysite.ru/sitemap.xml

Новые темы	Объявления	Свободное общение
14:09 2Index - быстрая индексация страниц сайта и обратных ссылок 12:28 adsense в 2026: кто реально выводит копейку через киргизию? 12:26 Очередной взлом через плагин. Хакеры получают админку без пароля 12:19 Биржи ссылок в 2026 - реально ли новичку с одним сайтом поднять копейку? 12:12 LOSPOLLOS.COM - Конвертим по рецепту Хайзенберга. Dating, Mainstream, Binary Options 23:24 Яндекс Нейро и выдача в 2026 - остались ли лазейки для маленьких сайтов? 23:05 Раскрутка форума	15:11 HH.ru Работадателя вериф 14:49 4G/LTE Mobile Proxy 30+ geo 14:43 [UPDATE] CryptoMonitor — обмен BTC, USDT, XMR \| актуальная тема сервиса 13:32 Мониторинг обменников Сrypto-scout.io 12:07 Копирайтинг RU/EN, переводы высокого уровня (рус/англ/укр), SEO-оптимизированные тексты под ключ для выхода в Топ (2000+ отзывов) 11:41 Рассылки СМС/SMS, Вайбер/Viber, Ватсап/Whatsapp, Телеграм/Telegram любой тематики по всему миру 10:54 От $0.015 за IP \| $0.68 за ГБ \| 9PROXY.COM \| 20+ млн резидентных прокси \| 99,95% аптайм \| Без чёрных списков	12:30 8 марта: желаю аптайма 99.9% и e-e-a-t без локов 12:29 Огородники 16:47 Какой фильм вы любите посмотреть перед сном? 15:46 молодильные яблоки и живая вода 10:11 О природе путешествий. 01:47 Точные прогнозы на футбол 15:04 Сайты Рунета

Новые темы

Объявления

Свободное общение

14:09 2Index - быстрая индексация страниц сайта и обратных ссылок
12:28 adsense в 2026: кто реально выводит копейку через киргизию?
12:26 Очередной взлом через плагин. Хакеры получают админку без пароля
12:19 Биржи ссылок в 2026 - реально ли новичку с одним сайтом поднять копейку?
12:12 LOSPOLLOS.COM - Конвертим по рецепту Хайзенберга. Dating, Mainstream, Binary Options
23:24 Яндекс Нейро и выдача в 2026 - остались ли лазейки для маленьких сайтов?
23:05 Раскрутка форума

15:11 HH.ru Работадателя вериф
14:49 4G/LTE Mobile Proxy 30+ geo
14:43 [UPDATE] CryptoMonitor — обмен BTC, USDT, XMR | актуальная тема сервиса
13:32 Мониторинг обменников Сrypto-scout.io
12:07 Копирайтинг RU/EN, переводы высокого уровня (рус/англ/укр), SEO-оптимизированные тексты под ключ для выхода в Топ (2000+ отзывов)
11:41 Рассылки СМС/SMS, Вайбер/Viber, Ватсап/Whatsapp, Телеграм/Telegram любой тематики по всему миру
10:54 От $0.015 за IP | $0.68 за ГБ | 9PROXY.COM | 20+ млн резидентных прокси | 99,95% аптайм | Без чёрных списков

12:30 8 марта: желаю аптайма 99.9% и e-e-a-t без локов
12:29 Огородники
16:47 Какой фильм вы любите посмотреть перед сном?
15:46 молодильные яблоки и живая вода
10:11 О природе путешествий.
01:47 Точные прогнозы на футбол
15:04 Сайты Рунета

21.01.2026 16:05	Почему ваш сервер тормозит: это не DDOS, это нейросети "кушают" ваш контент
01.05.2025 18:53	Настройка плагина для wordpress Price Shop
11.04.2025 17:42	Создание сайтов стало проще: WordPress представляет AI-инструмент
21.03.2025 19:38	Владельцы сайтов на WordPress под угрозой: как вредонос DollyWay крадёт ваш трафик
12.03.2025 18:50	Как сделать ссылку видимой на вордпресс тема Jarida ?