Как настроить robots.txt с ограничением индексирования всех страниц, кроме главной?
Страницы: 1
Как настроить robots.txt с ограничением индексирования всех страниц, кроме главной?
Мое почтение, ребята! smile:)
Возникла сложность с настройкой роботс.тхт smile:confused: - необходимо, чтобы все страницы кроме "главной" не попадали в индекс ПС. Кто нибудь знает, как это правильно настраивается?

Благодарю!
User-agent: *
Allow: www.mysite.ru
Disallow: /
# запрещает скачивать все, кроме страницы www.mysite.ru
Sitemap: mysite.ru/my_sitemap.xml
Host: www.myhost.ru
Crawl-delay: 4 # задает таймаут в 4 секунды


В теории так, но я сам не делал полного запрета и подобного не встречал
Цитата
Юрий Петров пишет:
User-agent: *
Allow: www.mysite.ru
Disallow: /
# запрещает скачивать все, кроме страницы www.mysite.ru
Sitemap: mysite.ru/my_sitemap.xml
Host: www.myhost.ru
Crawl-delay: 4 # задает таймаут в 4 секунды


В теории так, но я сам не делал полного запрета и подобного не встречал
Юрий, благодарю Вас! smile:) Если Ваш вариант настройки окажется рабочим, то я отпишу здесь.
А зачем сайту, у которого все станицы, кроме главной не должны индексироваться Sitemap? smile:confused:
Лучшая тизерка для рекламодателей и вебмастеров!
Цитата
Иван Заморян пишет:
А зачем сайту, у которого все станицы, кроме главной не должны индексироваться Sitemap? smile:confused:
На сайте вся информация загружается из одного модального окна с морды сайта, когда юзер осуществляет подбор предложений. Все внутренние странички скрыты от юзера и ПС, так как там нет контента, кроме заголовков и полей. Сайт для арбитража и не хочется, чтобы вся таксономия и ноды с не уник контентом не попали в индекс. Вот такие дела...
Изменено: Александр Головинов - 20 Июля 2013 18:39
Цитата
Иван Заморян пишет:
А зачем сайту, у которого все станицы, кроме главной не должны индексироваться Sitemap? smile:confused:
Символически, чтоб добавить карту в ПС))
... по привычке прописал просто, думаю не помещает)
Страницы: 1
Читают тему (гостей: 1, пользователей: 0, из них скрытых: 0)
Новые темыОбъявленияСвободное общение
22:35 2023-12-07 Выдача 
22:24 Партнерская программа Xoffers с прямыми офферами в вертикалях форекс, крипта и бинарные опционы. 
22:10 ВОпросы оптимизации сайта 
15:51 Webvork - международная товарная СРА сеть с сертифицированными офферами на Европу. 
12:41 AntiBot Cloud - бесплатный скрипт и сервис защиты сайтов 
11:42 AMarkets - партнерские программы финансовых рынков 
22:39 Переходы по ссылкам на сайтах 
22:06 Продаю место под вашу адалт ссылку 
20:41 Комплексный прогон по трастовым сайтам, статейное размещение. Рост НЧ-СЧ, Тиц-пр. 
19:44 EZmob - DSP рекламная сеть. GEO - весь мир! [бонус внутри] 
15:39 Накрутка ПФ для любых сайтов. Быстрый результат 
14:12 Реклама по дням дешево 
12:54 BestChange – обменивать электронную валюту можно быстро и выгодно 
12:31 Автоматическое распознавание любых видов капч - CapMonster Cloud 
22:52 Linux - это максимальная свобода 
16:10 Стоит ли удалять статьи с уникальностью ниже 65% 
13:50 Курс доллара упал ниже 85 рублей 
11:17 У Лукоморья дуб зеленый 
10:05 Список обновленных тем пуст... 
13:16 Как получить рефералов и посетителей на сайт бесплатно. 
15:28 С юмором по жизни!