Как настроить robots.txt с ограничением индексирования всех страниц, кроме главной?
Страницы: 1
Как настроить robots.txt с ограничением индексирования всех страниц, кроме главной?
Мое почтение, ребята! smile:)
Возникла сложность с настройкой роботс.тхт smile:confused: - необходимо, чтобы все страницы кроме "главной" не попадали в индекс ПС. Кто нибудь знает, как это правильно настраивается?

Благодарю!
User-agent: *
Allow: www.mysite.ru
Disallow: /
# запрещает скачивать все, кроме страницы www.mysite.ru
Sitemap: mysite.ru/my_sitemap.xml
Host: www.myhost.ru
Crawl-delay: 4 # задает таймаут в 4 секунды


В теории так, но я сам не делал полного запрета и подобного не встречал
Цитата
Юрий Петров пишет:
User-agent: *
Allow: www.mysite.ru
Disallow: /
# запрещает скачивать все, кроме страницы www.mysite.ru
Sitemap: mysite.ru/my_sitemap.xml
Host: www.myhost.ru
Crawl-delay: 4 # задает таймаут в 4 секунды


В теории так, но я сам не делал полного запрета и подобного не встречал
Юрий, благодарю Вас! smile:) Если Ваш вариант настройки окажется рабочим, то я отпишу здесь.
А зачем сайту, у которого все станицы, кроме главной не должны индексироваться Sitemap? smile:confused:
Лучшая тизерка для рекламодателей и вебмастеров!
Цитата
Иван Заморян пишет:
А зачем сайту, у которого все станицы, кроме главной не должны индексироваться Sitemap? smile:confused:
На сайте вся информация загружается из одного модального окна с морды сайта, когда юзер осуществляет подбор предложений. Все внутренние странички скрыты от юзера и ПС, так как там нет контента, кроме заголовков и полей. Сайт для арбитража и не хочется, чтобы вся таксономия и ноды с не уник контентом не попали в индекс. Вот такие дела...
Изменено: Александр Головинов - 20 Июля 2013 18:39
Цитата
Иван Заморян пишет:
А зачем сайту, у которого все станицы, кроме главной не должны индексироваться Sitemap? smile:confused:
Символически, чтоб добавить карту в ПС))
... по привычке прописал просто, думаю не помещает)
Страницы: 1
Читают тему (гостей: 1, пользователей: 0, из них скрытых: 0)
Новые темыОбъявленияСвободное общение
22:52 Эпоха суррогата и имитации: качество вообще кого-то волнует? Апдейт Яндекс выдача 8 января 2026 
22:39 SEO под нейро 
13:41 Dao.AD: Монетизация и покупка Push/Pops/Inpage и Video трафика! 
18:02 "Осталось 5 дн. до НГ" АПдейт Яндекс выдача 
12:24 На улице штиль, в выдаче - шторм. Апдейт 04.01.2026 
16:28 С Новым 2026 годом! + Апдейт Яндекс выдачи 02.01.2026 
13:17 AntiBot Cloud - бесплатный скрипт и сервис защиты сайтов 
22:42 Тексты ИИ 
20:36 BestX24 - быстрый и безопасный обменник криптовалют и электронных денежных средств 
19:57 SOCKS5 приватные прокси на 30 дней для PayPal 
19:56 Google Voice аккаунты для бесплатных SMS и звонков 
19:56 PayPal аккаунты для любых целей 
14:32 Рассылки СМС/SMS, Вайбер/Viber, Ватсап/Whatsapp, Телеграм/Telegram любой тематики по всему миру 
14:21 Нужен обработчик трафика 
23:51 ИИ от Илона "сорвался с цепи": Grok завалил пользователей клубничкой 
23:41 ИИ Neuro-sama: $400 000/мес без участия человека. Мы точно ту профессию выбрали? 
22:48 Кто может дать инвайт на WebMasters? 
18:05 С юмором по жизни! 
13:55 Стереотип про "зомби-апокалипсис" 1 января больше не работает? 
13:46 Студия веб-дизайна Azatweb.ru 
19:38 Владельцы "китайцев" 3-леток, признавайтесь честно — сгнили или едут?