Как настроить robots.txt с ограничением индексирования всех страниц, кроме главной?
Страницы: 1
Как настроить robots.txt с ограничением индексирования всех страниц, кроме главной?
Мое почтение, ребята! smile:)
Возникла сложность с настройкой роботс.тхт smile:confused: - необходимо, чтобы все страницы кроме "главной" не попадали в индекс ПС. Кто нибудь знает, как это правильно настраивается?

Благодарю!
User-agent: *
Allow: www.mysite.ru
Disallow: /
# запрещает скачивать все, кроме страницы www.mysite.ru
Sitemap: mysite.ru/my_sitemap.xml
Host: www.myhost.ru
Crawl-delay: 4 # задает таймаут в 4 секунды


В теории так, но я сам не делал полного запрета и подобного не встречал
Цитата
Юрий Петров пишет:
User-agent: *
Allow: www.mysite.ru
Disallow: /
# запрещает скачивать все, кроме страницы www.mysite.ru
Sitemap: mysite.ru/my_sitemap.xml
Host: www.myhost.ru
Crawl-delay: 4 # задает таймаут в 4 секунды


В теории так, но я сам не делал полного запрета и подобного не встречал
Юрий, благодарю Вас! smile:) Если Ваш вариант настройки окажется рабочим, то я отпишу здесь.
А зачем сайту, у которого все станицы, кроме главной не должны индексироваться Sitemap? smile:confused:
Лучшая тизерка для рекламодателей и вебмастеров!
Цитата
Иван Заморян пишет:
А зачем сайту, у которого все станицы, кроме главной не должны индексироваться Sitemap? smile:confused:
На сайте вся информация загружается из одного модального окна с морды сайта, когда юзер осуществляет подбор предложений. Все внутренние странички скрыты от юзера и ПС, так как там нет контента, кроме заголовков и полей. Сайт для арбитража и не хочется, чтобы вся таксономия и ноды с не уник контентом не попали в индекс. Вот такие дела...
Изменено: Александр Головинов - 20 Июля 2013 18:39
Цитата
Иван Заморян пишет:
А зачем сайту, у которого все станицы, кроме главной не должны индексироваться Sitemap? smile:confused:
Символически, чтоб добавить карту в ПС))
... по привычке прописал просто, думаю не помещает)
Страницы: 1
Читают тему (гостей: 1, пользователей: 0, из них скрытых: 0)
Новые темыОбъявленияСвободное общение
16:55 Штрафы РСЯ за скорость - выкинет ли Яндекс сайт на дешевом хостинге? 
16:32 Апдейт 14 апреля: ощущение, что режет не только выдача 
00:47 В Яндексе позиции держатся, а трафик проседает - стало заметно сильнее 
00:09 Бесплатное расширение для Chrome — проверка ссылок прямо на странице 
23:52 PHP 8 ломает старые сайты. Кто уже обновился - что отвалилось? 
23:23 Легкая тема для Вордпресса в 2026 - чтобы и красиво, и быстро? 
15:51 Яндекс Нейро и выдача в 2026 - остались ли лазейки для маленьких сайтов? 
16:57 Продам домен 28z.ru 
15:56 Продам Домены .COM с историей трафика. 
13:24 AllCharge.online. Современный, быстрый и надёжный обменник 
13:12 Linken Sphere – браузер-антидетект нового поколения 
11:10 Мониторинг обменников Сrypto-scout.io 
10:11 BestChange – обменивать электронную валюту можно быстро и выгодно 
08:55 Monitex: Мониторинг с кэшбэком 80% в USDT 
16:34 Франция уходит с Windows на Linux - это реально тренд или просто политика? 
16:28 В жительница Китая каждый день общается с ИИ-клоном сына и не знает, что он умер 
15:32 90% людей живут не своей жизнью - вы тоже? 
13:29 Во Франции начали штрафовать за IPTV - до 300-400 евро уже прилетает обычным пользователям 
05:07 Точные прогнозы на футбол 
00:58 С юмором по жизни! 
00:21 Добро пожаловать в цифровой мир...