Как настроить robots.txt с ограничением индексирования всех страниц, кроме главной?
Страницы: 1
Как настроить robots.txt с ограничением индексирования всех страниц, кроме главной?
Мое почтение, ребята! smile:)
Возникла сложность с настройкой роботс.тхт smile:confused: - необходимо, чтобы все страницы кроме "главной" не попадали в индекс ПС. Кто нибудь знает, как это правильно настраивается?

Благодарю!
User-agent: *
Allow: www.mysite.ru
Disallow: /
# запрещает скачивать все, кроме страницы www.mysite.ru
Sitemap: mysite.ru/my_sitemap.xml
Host: www.myhost.ru
Crawl-delay: 4 # задает таймаут в 4 секунды


В теории так, но я сам не делал полного запрета и подобного не встречал
Цитата
Юрий Петров пишет:
User-agent: *
Allow: www.mysite.ru
Disallow: /
# запрещает скачивать все, кроме страницы www.mysite.ru
Sitemap: mysite.ru/my_sitemap.xml
Host: www.myhost.ru
Crawl-delay: 4 # задает таймаут в 4 секунды


В теории так, но я сам не делал полного запрета и подобного не встречал
Юрий, благодарю Вас! smile:) Если Ваш вариант настройки окажется рабочим, то я отпишу здесь.
А зачем сайту, у которого все станицы, кроме главной не должны индексироваться Sitemap? smile:confused:
Лучшая тизерка для рекламодателей и вебмастеров!
Цитата
Иван Заморян пишет:
А зачем сайту, у которого все станицы, кроме главной не должны индексироваться Sitemap? smile:confused:
На сайте вся информация загружается из одного модального окна с морды сайта, когда юзер осуществляет подбор предложений. Все внутренние странички скрыты от юзера и ПС, так как там нет контента, кроме заголовков и полей. Сайт для арбитража и не хочется, чтобы вся таксономия и ноды с не уник контентом не попали в индекс. Вот такие дела...
Изменено: Александр Головинов - 20 Июля 2013 18:39
Цитата
Иван Заморян пишет:
А зачем сайту, у которого все станицы, кроме главной не должны индексироваться Sitemap? smile:confused:
Символически, чтоб добавить карту в ПС))
... по привычке прописал просто, думаю не помещает)
Страницы: 1
Читают тему (гостей: 1, пользователей: 0, из них скрытых: 0)
Новые темыОбъявленияСвободное общение
21:25 Telegram работает, но уже пошли реальные кейсы. История с Лоскутовой это подтверждает 
20:47 Есть ли альтернатива Адсенсу и РСЯ? 
20:39 TikTok "увеличил длину видео"… но это произошло давно. Что тогда реально поменялось 
20:36 YouTube ничего не менял… но почему тогда старые каналы перестали заходить 
20:23 Что такое Яндекс Икс / Как накрутить Яндекс ИКС 
19:37 Instagram* ничего не убирал, но лайки перестали что-то решать 
19:28 стратегии свежести контента в 2026 что реально работает?? 
21:53 Myxa.cc - Обмен электронных валют 
20:53 Mixmasters - Exchange without AML and KYC 
18:25 buyingproxy.com | $0.95/GB Residential Proxies - 80M+ IPs | No Bandwidth Expiry 
17:37 Мониторинг обменников Сrypto-scout.io 
17:36 Куплю отзывы на kwork 
14:14 Продам аккаунты Gmail USA IP | Gmail MIX IP | Outlook Old 
12:34 SEYARE.ORG - Хватит арендовать IP | Управляй сетью | Безлимит / Трафик 
21:25 Клещи 
17:35 «Жилетка для подчиненных» — прямая дорога в выгорание. Что говорит об этом Нейроменеджмент? 
12:44 С юмором по жизни! 
09:22 Осторожно! Криптовалюта 
03:42 Точные прогнозы на футбол 
14:00 Заработок на загрузочном сайте в 2026? 
17:33 Какой фильм посмотреть сегодня вечером?