Как настроить robots.txt с ограничением индексирования всех страниц, кроме главной?
Страницы: 1
Как настроить robots.txt с ограничением индексирования всех страниц, кроме главной?
Мое почтение, ребята! smile:)
Возникла сложность с настройкой роботс.тхт smile:confused: - необходимо, чтобы все страницы кроме "главной" не попадали в индекс ПС. Кто нибудь знает, как это правильно настраивается?

Благодарю!
User-agent: *
Allow: www.mysite.ru
Disallow: /
# запрещает скачивать все, кроме страницы www.mysite.ru
Sitemap: mysite.ru/my_sitemap.xml
Host: www.myhost.ru
Crawl-delay: 4 # задает таймаут в 4 секунды


В теории так, но я сам не делал полного запрета и подобного не встречал
Цитата
Юрий Петров пишет:
User-agent: *
Allow: www.mysite.ru
Disallow: /
# запрещает скачивать все, кроме страницы www.mysite.ru
Sitemap: mysite.ru/my_sitemap.xml
Host: www.myhost.ru
Crawl-delay: 4 # задает таймаут в 4 секунды


В теории так, но я сам не делал полного запрета и подобного не встречал
Юрий, благодарю Вас! smile:) Если Ваш вариант настройки окажется рабочим, то я отпишу здесь.
А зачем сайту, у которого все станицы, кроме главной не должны индексироваться Sitemap? smile:confused:
Лучшая тизерка для рекламодателей и вебмастеров!
Цитата
Иван Заморян пишет:
А зачем сайту, у которого все станицы, кроме главной не должны индексироваться Sitemap? smile:confused:
На сайте вся информация загружается из одного модального окна с морды сайта, когда юзер осуществляет подбор предложений. Все внутренние странички скрыты от юзера и ПС, так как там нет контента, кроме заголовков и полей. Сайт для арбитража и не хочется, чтобы вся таксономия и ноды с не уник контентом не попали в индекс. Вот такие дела...
Изменено: Александр Головинов - 20 Июля 2013 18:39
Цитата
Иван Заморян пишет:
А зачем сайту, у которого все станицы, кроме главной не должны индексироваться Sitemap? smile:confused:
Символически, чтоб добавить карту в ПС))
... по привычке прописал просто, думаю не помещает)
Страницы: 1
Читают тему (гостей: 1, пользователей: 0, из них скрытых: 0)
Новые темыОбъявленияСвободное общение
09:19 Кто как борется с РКН и компанией? 
20:19 Profit Pixels - In-House Форекс, Крипто, Трейдинг CPA Офферы | Еженедельные Выплаты | CPA до $950 
18:01 Dao.AD: Монетизация и покупка Push/Pops/Inpage и Video трафика! 
16:12 Webvork - международная товарная СРА сеть с сертифицированными офферами на Европу. 
15:23 Adtrafico - Правильная партнёрская сеть под бурж трафик 
14:56 Партнерская программа OWNR WALLET 
01:01 3snet - гемблинг, беттинг, форекс, бинарные опционы, майнинг 
01:23 Эксклюзивные FOREX|CRYPTO ЛИДЫ! Свежак! -Физы -Форекс -Крипта -Чарджбек -Лайф Трафик 
18:14 Как находить клиентов в Telegram по ГЕО. 
12:48 Coin Click.cc - Быстрый и надежный обмен электронных валют в два клика 
09:36 BestX24 - быстрый и безопасный обменник криптовалют и электронных денежных средств 
06:47 ✍️️ [WORDPRESS] [Gemini|GPT]️ ClipAI - Копирайтинг больше не нужен! Подключит ИИ к интернету и напишет статьи с автоматической публикацией на сайт. 
21:01 Ural-obmen.ru — выгодный сервис обмена 
20:55 Obama.ru - безопасный обмен криптовалют и электронных денежных средств 
09:23 150+ хакерских поисковых систем и инструментов 
00:06 Точные прогнозы на футбол 
22:33 В России летом могут представить возможный аналог YouTube 
21:31 У Sora появился конкурент из Китая — нейросеть Kling, которая генерирует 1080p-видеоролики по описанию 
21:29 В России готовят проект о запрете рекламы в заблокированных соцсетях 
21:25 В соцсети Х (экс-Twitter) разрешили размещать эротику и порно 
08:22 С юмором по жизни!