Как настроить robots.txt с ограничением индексирования всех страниц, кроме главной?
Страницы: 1
Как настроить robots.txt с ограничением индексирования всех страниц, кроме главной?
Мое почтение, ребята! smile:)
Возникла сложность с настройкой роботс.тхт smile:confused: - необходимо, чтобы все страницы кроме "главной" не попадали в индекс ПС. Кто нибудь знает, как это правильно настраивается?

Благодарю!
User-agent: *
Allow: www.mysite.ru
Disallow: /
# запрещает скачивать все, кроме страницы www.mysite.ru
Sitemap: mysite.ru/my_sitemap.xml
Host: www.myhost.ru
Crawl-delay: 4 # задает таймаут в 4 секунды


В теории так, но я сам не делал полного запрета и подобного не встречал
Цитата
Юрий Петров пишет:
User-agent: *
Allow: www.mysite.ru
Disallow: /
# запрещает скачивать все, кроме страницы www.mysite.ru
Sitemap: mysite.ru/my_sitemap.xml
Host: www.myhost.ru
Crawl-delay: 4 # задает таймаут в 4 секунды


В теории так, но я сам не делал полного запрета и подобного не встречал
Юрий, благодарю Вас! smile:) Если Ваш вариант настройки окажется рабочим, то я отпишу здесь.
А зачем сайту, у которого все станицы, кроме главной не должны индексироваться Sitemap? smile:confused:
Лучшая тизерка для рекламодателей и вебмастеров!
Цитата
Иван Заморян пишет:
А зачем сайту, у которого все станицы, кроме главной не должны индексироваться Sitemap? smile:confused:
На сайте вся информация загружается из одного модального окна с морды сайта, когда юзер осуществляет подбор предложений. Все внутренние странички скрыты от юзера и ПС, так как там нет контента, кроме заголовков и полей. Сайт для арбитража и не хочется, чтобы вся таксономия и ноды с не уник контентом не попали в индекс. Вот такие дела...
Изменено: Александр Головинов - 20 Июля 2013 18:39
Цитата
Иван Заморян пишет:
А зачем сайту, у которого все станицы, кроме главной не должны индексироваться Sitemap? smile:confused:
Символически, чтоб добавить карту в ПС))
... по привычке прописал просто, думаю не помещает)
Страницы: 1
Читают тему (гостей: 1, пользователей: 0, из них скрытых: 0)
Новые темыОбъявленияСвободное общение
02:14 MAX попер в бурж: 40 стран, ведение каналов и горы дешевого трафика 
22:19 Телега на ручнике: РКН включил замедление и логи админок покраснели 
22:16 Продажа и покупка Дзен-каналов 
21:58 С чего сейчас проще начать? 
17:17 как оплатить claude и gpt-5 из рф в 2026 чтобы не забанили через три дня 
12:12 Robots txt 
08:16 Стоит ли заморачиваться с мейл ру ? 
05:23 ByWare.net - работаем с наличными RUB/USD/EUR по всей России. 
01:45 Продвижение YouTube видео в топ поиска | Любой тип контента | Гарантия результата 
01:44 Trustpilot Reviews | Подниму рейтинг вашей компании 
01:44 №1 Рассылка / Инвайтинг [TELEGRAM] | Приватный метод 
01:43 Установка|Настройка|Доработка|Наполнение сайтов|Дизайн|3D|Видеомонтаж 
23:20 Адаптивная вёрстка сайта и прочие правки интерфейса (html, css, js) 
22:48 BestX24 - быстрый и безопасный обменник криптовалют и электронных денежных средств 
02:27 Точные прогнозы на футбол 
02:23 8 марта: желаю аптайма 99.9% и e-e-a-t без локов 
01:23 Актуально для тех кто хочет заработать в интернете 
21:46 блокировка youtube 2026: ркн начинает «выдавливание». кто уже пробовал вк видео? 
20:31 молодильные яблоки и живая вода 
15:35 Куплю проигрышные букмекерские аккаунты 
10:34 Панель Кнопки соцсетей