Как настроить robots.txt с ограничением индексирования всех страниц, кроме главной?
Страницы: 1
Как настроить robots.txt с ограничением индексирования всех страниц, кроме главной?
Мое почтение, ребята! smile:)
Возникла сложность с настройкой роботс.тхт smile:confused: - необходимо, чтобы все страницы кроме "главной" не попадали в индекс ПС. Кто нибудь знает, как это правильно настраивается?

Благодарю!
User-agent: *
Allow: www.mysite.ru
Disallow: /
# запрещает скачивать все, кроме страницы www.mysite.ru
Sitemap: mysite.ru/my_sitemap.xml
Host: www.myhost.ru
Crawl-delay: 4 # задает таймаут в 4 секунды


В теории так, но я сам не делал полного запрета и подобного не встречал
Цитата
Юрий Петров пишет:
User-agent: *
Allow: www.mysite.ru
Disallow: /
# запрещает скачивать все, кроме страницы www.mysite.ru
Sitemap: mysite.ru/my_sitemap.xml
Host: www.myhost.ru
Crawl-delay: 4 # задает таймаут в 4 секунды


В теории так, но я сам не делал полного запрета и подобного не встречал
Юрий, благодарю Вас! smile:) Если Ваш вариант настройки окажется рабочим, то я отпишу здесь.
А зачем сайту, у которого все станицы, кроме главной не должны индексироваться Sitemap? smile:confused:
Лучшая тизерка для рекламодателей и вебмастеров!
Цитата
Иван Заморян пишет:
А зачем сайту, у которого все станицы, кроме главной не должны индексироваться Sitemap? smile:confused:
На сайте вся информация загружается из одного модального окна с морды сайта, когда юзер осуществляет подбор предложений. Все внутренние странички скрыты от юзера и ПС, так как там нет контента, кроме заголовков и полей. Сайт для арбитража и не хочется, чтобы вся таксономия и ноды с не уник контентом не попали в индекс. Вот такие дела...
Изменено: Александр Головинов - 20 Июля 2013 18:39
Цитата
Иван Заморян пишет:
А зачем сайту, у которого все станицы, кроме главной не должны индексироваться Sitemap? smile:confused:
Символически, чтоб добавить карту в ПС))
... по привычке прописал просто, думаю не помещает)
Страницы: 1
Читают тему (гостей: 1, пользователей: 0, из них скрытых: 0)
Новые темыОбъявленияСвободное общение
16:04 ИКС Яндекс АПдейт 1 апреля 2026. Обновлён алгоритм расчёта 
11:50 Gmail разрешил менять основной адрес - теперь можно убрать старые ники без переноса аккаунта 
19:02 Gambling Craft - гемблинг по белому 
17:03 LOSPOLLOS.COM - Конвертим по рецепту Хайзенберга. Dating, Mainstream, Binary Options 
15:51 Яндекс-ап 20 марта и похороны ChatGPT, Claude и Gemini. Считаем убытки 
10:16 Бесплатное расширение для Chrome — проверка ссылок прямо на странице 
18:01 Раскрутка форума 
16:22 Рассылки СМС/SMS, Вайбер/Viber, Ватсап/Whatsapp, Телеграм/Telegram любой тематики по всему миру 
13:14 Аккаунты HeadHunter - Продам/верифицирую аккаунты работодателей hh.ru (HeadHunter, HH.RU, ХХ ) 
13:14 Продам аккаунты HeadHunter (Верификация на ИП) 
11:36 Продам сайт - продукты питания 
08:16 PROSMM-SHOP — Надёжный сервис продвижения в социальных сетях 
20:33 TokenTrade — Ваш новый надежный обменник 
20:20 BestX24 - быстрый и безопасный обменник криптовалют и электронных денежных средств 
12:36 молодильные яблоки и живая вода 
09:04 Точные прогнозы на футбол 
04:35 Ставки на супер тренды в спорте 
15:49 Огородники 
16:25 8 марта: желаю аптайма 99.9% и e-e-a-t без локов 
22:45 С юмором по жизни! 
15:42 Голландцы влепили Grok по яйцам - теперь нельзя раздевать реальных людей, штраф 100к евро в день