Как настроить robots.txt с ограничением индексирования всех страниц, кроме главной?
Страницы: 1
Как настроить robots.txt с ограничением индексирования всех страниц, кроме главной?
Мое почтение, ребята! smile:)
Возникла сложность с настройкой роботс.тхт smile:confused: - необходимо, чтобы все страницы кроме "главной" не попадали в индекс ПС. Кто нибудь знает, как это правильно настраивается?

Благодарю!
User-agent: *
Allow: www.mysite.ru
Disallow: /
# запрещает скачивать все, кроме страницы www.mysite.ru
Sitemap: mysite.ru/my_sitemap.xml
Host: www.myhost.ru
Crawl-delay: 4 # задает таймаут в 4 секунды


В теории так, но я сам не делал полного запрета и подобного не встречал
Цитата
Юрий Петров пишет:
User-agent: *
Allow: www.mysite.ru
Disallow: /
# запрещает скачивать все, кроме страницы www.mysite.ru
Sitemap: mysite.ru/my_sitemap.xml
Host: www.myhost.ru
Crawl-delay: 4 # задает таймаут в 4 секунды


В теории так, но я сам не делал полного запрета и подобного не встречал
Юрий, благодарю Вас! smile:) Если Ваш вариант настройки окажется рабочим, то я отпишу здесь.
А зачем сайту, у которого все станицы, кроме главной не должны индексироваться Sitemap? smile:confused:
Лучшая тизерка для рекламодателей и вебмастеров!
Цитата
Иван Заморян пишет:
А зачем сайту, у которого все станицы, кроме главной не должны индексироваться Sitemap? smile:confused:
На сайте вся информация загружается из одного модального окна с морды сайта, когда юзер осуществляет подбор предложений. Все внутренние странички скрыты от юзера и ПС, так как там нет контента, кроме заголовков и полей. Сайт для арбитража и не хочется, чтобы вся таксономия и ноды с не уник контентом не попали в индекс. Вот такие дела...
Изменено: Александр Головинов - 20 Июля 2013 18:39
Цитата
Иван Заморян пишет:
А зачем сайту, у которого все станицы, кроме главной не должны индексироваться Sitemap? smile:confused:
Символически, чтоб добавить карту в ПС))
... по привычке прописал просто, думаю не помещает)
Страницы: 1
Читают тему (гостей: 1, пользователей: 0, из них скрытых: 0)
Новые темыОбъявленияСвободное общение
20:10 С чего сейчас проще начать? 
17:17 Сайт не принимают в РСЯ 
17:16 Несколько статей хорошо выдаются в Гугле, но отвратительно в Яндексе 
17:13 Реакция Поисковых систем на тексты, созданные нейросетями 
16:29 Что такое Яндекс Икс / Как накрутить Яндекс ИКС 
16:25 MAX попер в бурж: 40 стран, ведение каналов и горы дешевого трафика 
16:23 10.02 Яндекс штормит, а Google лезет в долги: 15 миллиардов на железки для ИИ 
19:38 Курс по Продаже Ссылок в Буржнете !!! 
18:35 Mixmasters - Exchange without AML and KYC 
12:37 Nexulume.com Обменник без AML и KYC 
12:36 WordChecker Extension - браузерное расширение для проверки позиций в Яндексе 
12:25 Мобильные и Резидентные Прокси Для Соц Сетей | 3 Гб Бесплатно 
11:56 PHONE FLOOD BOT - Бот флуда телефонов 
11:43 От $0.015 за IP | $0.68 за ГБ | 9PROXY.COM | 20+ млн резидентных прокси | 99,95% аптайм | Без чёрных списков 
19:33 Огородники 
16:28 Список обновленных тем пуст... 
16:26 Бигтех режет мясо. ИИ заменил 6 тысяч профи за месяц 
13:04 Вместо золота - RTX 5090: почему кремний стал валютой на свадьбах 
08:21 Ставки на супер тренды в спорте 
03:01 Точные прогнозы на футбол 
13:06 Владельцы "китайцев" 3-леток, признавайтесь честно — сгнили или едут?