Как настроить robots.txt с ограничением индексирования всех страниц, кроме главной?
Страницы: 1
Как настроить robots.txt с ограничением индексирования всех страниц, кроме главной?
Мое почтение, ребята! smile:)
Возникла сложность с настройкой роботс.тхт smile:confused: - необходимо, чтобы все страницы кроме "главной" не попадали в индекс ПС. Кто нибудь знает, как это правильно настраивается?

Благодарю!
User-agent: *
Allow: www.mysite.ru
Disallow: /
# запрещает скачивать все, кроме страницы www.mysite.ru
Sitemap: mysite.ru/my_sitemap.xml
Host: www.myhost.ru
Crawl-delay: 4 # задает таймаут в 4 секунды


В теории так, но я сам не делал полного запрета и подобного не встречал
Цитата
Юрий Петров пишет:
User-agent: *
Allow: www.mysite.ru
Disallow: /
# запрещает скачивать все, кроме страницы www.mysite.ru
Sitemap: mysite.ru/my_sitemap.xml
Host: www.myhost.ru
Crawl-delay: 4 # задает таймаут в 4 секунды


В теории так, но я сам не делал полного запрета и подобного не встречал
Юрий, благодарю Вас! smile:) Если Ваш вариант настройки окажется рабочим, то я отпишу здесь.
А зачем сайту, у которого все станицы, кроме главной не должны индексироваться Sitemap? smile:confused:
Лучшая тизерка для рекламодателей и вебмастеров!
Цитата
Иван Заморян пишет:
А зачем сайту, у которого все станицы, кроме главной не должны индексироваться Sitemap? smile:confused:
На сайте вся информация загружается из одного модального окна с морды сайта, когда юзер осуществляет подбор предложений. Все внутренние странички скрыты от юзера и ПС, так как там нет контента, кроме заголовков и полей. Сайт для арбитража и не хочется, чтобы вся таксономия и ноды с не уник контентом не попали в индекс. Вот такие дела...
Изменено: Александр Головинов - 20 Июля 2013 18:39
Цитата
Иван Заморян пишет:
А зачем сайту, у которого все станицы, кроме главной не должны индексироваться Sitemap? smile:confused:
Символически, чтоб добавить карту в ПС))
... по привычке прописал просто, думаю не помещает)
Страницы: 1
Читают тему (гостей: 1, пользователей: 0, из них скрытых: 0)
Новые темыОбъявленияСвободное общение
04:42 25.12.25 Апдейт Яндекс выдача 
18:52 "Осталось 5 дн. до НГ" АПдейт Яндекс выдача 
18:49 Ссылки с сайтов РБ 
17:01 Gambling Craft - гемблинг по белому 
15:59 SEO под нейро 
15:30 С наступающим Новым годом! АП Яндекс ИКС 23.12.2025 
21:10 AviTool - мощный инструмент для автоматизации работы с Avito 
17:56 PonyBit.ru - обменный пункт PonyBit.ru (Понибит.ру) 
13:58 Full-Stack Developer — Сайты и Софт любой сложности | Developer Websites and Soft of any Complexity! 
08:52 Мониторинг обменников Сrypto-scout.io 
08:28 TELEGRAM EXPERT — Многоцелевой комбайн по работе с Telegram 
05:06 Просто $0.04/IP 9PROXY.COM Резидентные прокси Неограниченная пропускная способность Уникальная политика замены Без чёрного списка 
02:15 nexgen24.io - криптовалюта и фиат в одном месте 
16:53 garantcoin.io - быстрый и надёжный сервис обмена криптовалюты GarantCoin 
20:45 С юмором по жизни! 
23:13 Владельцы "китайцев" 3-леток, признавайтесь честно — сгнили или едут? 
18:50 Стряхнуть обыденность - об Агасфере 
16:23 Ням-ням! - 8 деликатесов, которые когда-то ели только бедные люди 
16:13 Осторожно! Криптовалюта 
12:20 Компьютерная мышь 
23:08 Физические сим-карты