Как настроить robots.txt с ограничением индексирования всех страниц, кроме главной?
Страницы: 1
Как настроить robots.txt с ограничением индексирования всех страниц, кроме главной?
Мое почтение, ребята! smile:)
Возникла сложность с настройкой роботс.тхт smile:confused: - необходимо, чтобы все страницы кроме "главной" не попадали в индекс ПС. Кто нибудь знает, как это правильно настраивается?

Благодарю!
User-agent: *
Allow: www.mysite.ru
Disallow: /
# запрещает скачивать все, кроме страницы www.mysite.ru
Sitemap: mysite.ru/my_sitemap.xml
Host: www.myhost.ru
Crawl-delay: 4 # задает таймаут в 4 секунды


В теории так, но я сам не делал полного запрета и подобного не встречал
Цитата
Юрий Петров пишет:
User-agent: *
Allow: www.mysite.ru
Disallow: /
# запрещает скачивать все, кроме страницы www.mysite.ru
Sitemap: mysite.ru/my_sitemap.xml
Host: www.myhost.ru
Crawl-delay: 4 # задает таймаут в 4 секунды


В теории так, но я сам не делал полного запрета и подобного не встречал
Юрий, благодарю Вас! smile:) Если Ваш вариант настройки окажется рабочим, то я отпишу здесь.
А зачем сайту, у которого все станицы, кроме главной не должны индексироваться Sitemap? smile:confused:
Лучшая тизерка для рекламодателей и вебмастеров!
Цитата
Иван Заморян пишет:
А зачем сайту, у которого все станицы, кроме главной не должны индексироваться Sitemap? smile:confused:
На сайте вся информация загружается из одного модального окна с морды сайта, когда юзер осуществляет подбор предложений. Все внутренние странички скрыты от юзера и ПС, так как там нет контента, кроме заголовков и полей. Сайт для арбитража и не хочется, чтобы вся таксономия и ноды с не уник контентом не попали в индекс. Вот такие дела...
Изменено: Александр Головинов - 20 Июля 2013 18:39
Цитата
Иван Заморян пишет:
А зачем сайту, у которого все станицы, кроме главной не должны индексироваться Sitemap? smile:confused:
Символически, чтоб добавить карту в ПС))
... по привычке прописал просто, думаю не помещает)
Страницы: 1
Читают тему (гостей: 1, пользователей: 0, из них скрытых: 0)
Новые темыОбъявленияСвободное общение
05:03 01.02. Апдейт 31.01 // Chrome готовит "чёрную метку" для ИИ? 
01:40 Плагин ответа 
01:12 [AI] 90% против нейросетей? Красивые цифры от DuckDuckGo (с подвохом) 
23:51 [AI] Хаби Лейм и сделка на $1 млрд. Гений или его развели на фантики? 
23:08 Гугл официально убивает клики: кнопка "Show more" теперь открывает чат на весь экран вместо сайтов 
19:30 SEO под нейро 
17:22 Дзен окончательно всё? Или у кого-то еще «стреляет» белый контент? 
04:08 Просто $0.04/IP 9PROXY.COM Резидентные прокси Неограниченная пропускная способность Уникальная политика замены Без чёрного списка 
20:58 BestX24 - быстрый и безопасный обменник криптовалют и электронных денежных средств 
20:41 Bankomat001 - Сервис обмена электронных валют 
18:48 Продажа аккаунтов HH.RU 
16:13 Мониторинг обменников Сrypto-scout.io 
15:01 Onechange.me — надежный обменник криптовалют и фиатных средств 
14:30 Рассылки СМС/SMS, Вайбер/Viber, Ватсап/Whatsapp, Телеграм/Telegram любой тематики по всему миру 
05:11 Точные прогнозы на футбол 
01:32 Кто может дать инвайт на WebMasters? 
00:13 [AI] Бот за $600к советовал есть сыр с крысами. Нью-Йорк его (наконец-то) снес 
23:33 Gartner обещал смерть SEO к 2026 году. Открываем метрику и проверяем 
17:58 Список обновленных тем пуст... 
14:24 Осталось 3-5 месяцев до блокировки YouTube в России, — заявил Клименко 
20:11 Ставки на супер тренды в спорте