Как настроить robots.txt с ограничением индексирования всех страниц, кроме главной?
Страницы: 1
Как настроить robots.txt с ограничением индексирования всех страниц, кроме главной?
Мое почтение, ребята! smile:)
Возникла сложность с настройкой роботс.тхт smile:confused: - необходимо, чтобы все страницы кроме "главной" не попадали в индекс ПС. Кто нибудь знает, как это правильно настраивается?

Благодарю!
User-agent: *
Allow: www.mysite.ru
Disallow: /
# запрещает скачивать все, кроме страницы www.mysite.ru
Sitemap: mysite.ru/my_sitemap.xml
Host: www.myhost.ru
Crawl-delay: 4 # задает таймаут в 4 секунды


В теории так, но я сам не делал полного запрета и подобного не встречал
Цитата
Юрий Петров пишет:
User-agent: *
Allow: www.mysite.ru
Disallow: /
# запрещает скачивать все, кроме страницы www.mysite.ru
Sitemap: mysite.ru/my_sitemap.xml
Host: www.myhost.ru
Crawl-delay: 4 # задает таймаут в 4 секунды


В теории так, но я сам не делал полного запрета и подобного не встречал
Юрий, благодарю Вас! smile:) Если Ваш вариант настройки окажется рабочим, то я отпишу здесь.
А зачем сайту, у которого все станицы, кроме главной не должны индексироваться Sitemap? smile:confused:
Лучшая тизерка для рекламодателей и вебмастеров!
Цитата
Иван Заморян пишет:
А зачем сайту, у которого все станицы, кроме главной не должны индексироваться Sitemap? smile:confused:
На сайте вся информация загружается из одного модального окна с морды сайта, когда юзер осуществляет подбор предложений. Все внутренние странички скрыты от юзера и ПС, так как там нет контента, кроме заголовков и полей. Сайт для арбитража и не хочется, чтобы вся таксономия и ноды с не уник контентом не попали в индекс. Вот такие дела...
Изменено: Александр Головинов - 20 Июля 2013 18:39
Цитата
Иван Заморян пишет:
А зачем сайту, у которого все станицы, кроме главной не должны индексироваться Sitemap? smile:confused:
Символически, чтоб добавить карту в ПС))
... по привычке прописал просто, думаю не помещает)
Страницы: 1
Читают тему (гостей: 1, пользователей: 0, из них скрытых: 0)
Новые темыОбъявленияСвободное общение
21:39 Подскажите где продвигать сайт. 
10:57 3snet - гемблинг, беттинг, форекс, бинарные опционы, майнинг 
19:12 Мошенники-копирайтеры 
08:57 Индексация страниц 
23:16 Есть ли альтернатива Адсенсу и РСЯ? 
20:48 Dao.AD: Монетизация и покупка Push/Pops/Inpage и Video трафика! 
18:53 Настройка плагина для wordpress Price Shop 
02:27 Продам обменник криптовалюты, а также новый обменник под ключ с обучением. Скидки на скрипты обменника 
20:47 A-Parser 1.1 - продвинутый парсер поисковых систем, Suggest, PR, DMOZ, Whois, etc 
20:07 Belurk — высокоскоростные анонимные прокси от 0,24 рублей 
18:53 Volna.money 
14:35 Продам аккаунты Gmail USA IP | Gmail MIX IP | Outlook Old 
09:41 SpaceSwap.cc - Быстрый и надежный обменник криптовалют 
09:09 Coin Click.cc - Быстрый и надежный обмен электронных валют в два клика 
22:31 Точные прогнозы на футбол 
20:32 Ням-ням! - 8 деликатесов, которые когда-то ели только бедные люди 
09:37 Договорные матчи от ИИ 
20:29 SMM-24.com САМЫЙ ДЕШЕВЫЙ SMM - Накрутка от 0.0001$|TG/TG PREMIUM/YT/TWIT/IG/TT/FB 
08:32 Бесплатный SEO аудит. 
20:52 Что сейчас топ по монетизации? Видео-темы или что-то поинтереснее? 
21:55 Хром ругается на форум