Как настроить robots.txt с ограничением индексирования всех страниц, кроме главной?
Страницы: 1
Как настроить robots.txt с ограничением индексирования всех страниц, кроме главной?
Мое почтение, ребята! smile:)
Возникла сложность с настройкой роботс.тхт smile:confused: - необходимо, чтобы все страницы кроме "главной" не попадали в индекс ПС. Кто нибудь знает, как это правильно настраивается?

Благодарю!
User-agent: *
Allow: www.mysite.ru
Disallow: /
# запрещает скачивать все, кроме страницы www.mysite.ru
Sitemap: mysite.ru/my_sitemap.xml
Host: www.myhost.ru
Crawl-delay: 4 # задает таймаут в 4 секунды


В теории так, но я сам не делал полного запрета и подобного не встречал
Цитата
Юрий Петров пишет:
User-agent: *
Allow: www.mysite.ru
Disallow: /
# запрещает скачивать все, кроме страницы www.mysite.ru
Sitemap: mysite.ru/my_sitemap.xml
Host: www.myhost.ru
Crawl-delay: 4 # задает таймаут в 4 секунды


В теории так, но я сам не делал полного запрета и подобного не встречал
Юрий, благодарю Вас! smile:) Если Ваш вариант настройки окажется рабочим, то я отпишу здесь.
А зачем сайту, у которого все станицы, кроме главной не должны индексироваться Sitemap? smile:confused:
Лучшая тизерка для рекламодателей и вебмастеров!
Цитата
Иван Заморян пишет:
А зачем сайту, у которого все станицы, кроме главной не должны индексироваться Sitemap? smile:confused:
На сайте вся информация загружается из одного модального окна с морды сайта, когда юзер осуществляет подбор предложений. Все внутренние странички скрыты от юзера и ПС, так как там нет контента, кроме заголовков и полей. Сайт для арбитража и не хочется, чтобы вся таксономия и ноды с не уник контентом не попали в индекс. Вот такие дела...
Изменено: Александр Головинов - 20 Июля 2013 18:39
Цитата
Иван Заморян пишет:
А зачем сайту, у которого все станицы, кроме главной не должны индексироваться Sitemap? smile:confused:
Символически, чтоб добавить карту в ПС))
... по привычке прописал просто, думаю не помещает)
Страницы: 1
Читают тему (гостей: 1, пользователей: 0, из них скрытых: 0)
Новые темыОбъявленияСвободное общение
07:34 биржи в 26-м окончательно сдохли или кто-то еще ковыряет этот шлак? 
06:47 В Яндексе позиции держатся, а трафик проседает - стало заметно сильнее 
06:34 Что такое Яндекс Икс / Как накрутить Яндекс ИКС 
06:21 ИКС Яндекс АПдейт 1 апреля 2026. Обновлён алгоритм расчёта 
05:34 Claude по паспорту + апдейт Яндекса 17 апреля - у кого что по выдаче 
21:29 Без просмотра рекламы к контенту не пустят? AdSense вводит Offerwall для всех 
20:37 Claude Design - ИИ, который сам делает дизайн (прототипы, лендинги, слайды). Кто-нибудь уже смотрел? 
19:29 BIGPROXY.SHOP - Резидентные Ротационные Backconnect Proxy USA EUROPA MIX [Безлимитный трафик] 
17:16 buyingproxy.com | $0.95/GB Residential Proxies - 80M+ IPs | No Bandwidth Expiry 
14:22 E-currency.exchange — ваш помощник в мире обменов 
11:35 Mixmasters - Exchange without AML and KYC 
08:33 Swapwatch.org — Мониторинг криптовалютных обменников 
06:26 HH.ru Работадателя вериф 
20:38 CryptoMonitor.info - ваш надеждный обменник BTC USDT XMR (без KYC) 
18:58 Ставки на супер тренды в спорте 
07:46 Осталось 3-5 месяцев до блокировки YouTube в России, — заявил Клименко 
23:50 Точные прогнозы на футбол 
21:08 Подтягиваем физкультурку 
16:29 С юмором по жизни! 
16:24 Всех с праздником! 
12:47 Добро пожаловать в цифровой мир...