Как настроить robots.txt с ограничением индексирования всех страниц, кроме главной?
Страницы: 1
Как настроить robots.txt с ограничением индексирования всех страниц, кроме главной?
Мое почтение, ребята! smile:)
Возникла сложность с настройкой роботс.тхт smile:confused: - необходимо, чтобы все страницы кроме "главной" не попадали в индекс ПС. Кто нибудь знает, как это правильно настраивается?

Благодарю!
User-agent: *
Allow: www.mysite.ru
Disallow: /
# запрещает скачивать все, кроме страницы www.mysite.ru
Sitemap: mysite.ru/my_sitemap.xml
Host: www.myhost.ru
Crawl-delay: 4 # задает таймаут в 4 секунды


В теории так, но я сам не делал полного запрета и подобного не встречал
Цитата
Юрий Петров пишет:
User-agent: *
Allow: www.mysite.ru
Disallow: /
# запрещает скачивать все, кроме страницы www.mysite.ru
Sitemap: mysite.ru/my_sitemap.xml
Host: www.myhost.ru
Crawl-delay: 4 # задает таймаут в 4 секунды


В теории так, но я сам не делал полного запрета и подобного не встречал
Юрий, благодарю Вас! smile:) Если Ваш вариант настройки окажется рабочим, то я отпишу здесь.
А зачем сайту, у которого все станицы, кроме главной не должны индексироваться Sitemap? smile:confused:
Лучшая тизерка для рекламодателей и вебмастеров!
Цитата
Иван Заморян пишет:
А зачем сайту, у которого все станицы, кроме главной не должны индексироваться Sitemap? smile:confused:
На сайте вся информация загружается из одного модального окна с морды сайта, когда юзер осуществляет подбор предложений. Все внутренние странички скрыты от юзера и ПС, так как там нет контента, кроме заголовков и полей. Сайт для арбитража и не хочется, чтобы вся таксономия и ноды с не уник контентом не попали в индекс. Вот такие дела...
Изменено: Александр Головинов - 20 Июля 2013 18:39
Цитата
Иван Заморян пишет:
А зачем сайту, у которого все станицы, кроме главной не должны индексироваться Sitemap? smile:confused:
Символически, чтоб добавить карту в ПС))
... по привычке прописал просто, думаю не помещает)
Страницы: 1
Читают тему (гостей: 1, пользователей: 0, из них скрытых: 0)
Новые темыОбъявленияСвободное общение
21:27 ИИ врёт, но ему всё равно верят. Что это значит для сайтов и трафика 
19:21 Заказал "положить сайт" а положили тебя? Полиция добралась до клиентов DDoS-сервисов 
19:17 Штрафы за крипту до 2 млн + ап Яндекса 19 апреля - что опять поменяли и куда всё катится? 
17:35 Заходишь на сайт, а там уже левые товары вместо контента. Новый тип SEO-взлома уже в деле? 
17:25 Скан глаза для Zoom и Tinder + ап Яндекса 21 апреля. К этому реально всё идёт? 
16:53 В Яндексе позиции держатся, а трафик проседает - стало заметно сильнее 
15:02 Claude по паспорту + апдейт Яндекса 17 апреля - у кого что по выдаче 
18:46 buyingproxy.com | $0.95/GB Residential Proxies - 80M+ IPs | No Bandwidth Expiry 
18:10 UltraXchina: Современный сервис обмена Alipay, USDT, Наличные 
17:38 YoChange.com - Ваш лучший помощник в обмене цифровых валют! 
14:52 Прошу оценить сайт 
13:56 Owlchange.com — сервис обмена криптовалют с выплатами в фиат 
13:39 Вериф аккаунты АВИТО + платежи 
10:26 Мониторинг обменников Сrypto-scout.io 
23:19 Хочешь чат в PlayStation? Покажи лицо. Как нас постепенно привязывают к личности 
21:31 ЕС сделал проверку возраста, а её уже ломают за минуты. Серьёзно? 
17:20 Список обновленных тем пуст... 
19:57 Во Франции начали штрафовать за IPTV - до 300-400 евро уже прилетает обычным пользователям 
17:02 арбитражники 
12:26 Заработок на загрузочном сайте в 2026? 
09:49 Точные прогнозы на футбол