Как настроить robots.txt с ограничением индексирования всех страниц, кроме главной?
Страницы: 1
Как настроить robots.txt с ограничением индексирования всех страниц, кроме главной?
Мое почтение, ребята! smile:)
Возникла сложность с настройкой роботс.тхт smile:confused: - необходимо, чтобы все страницы кроме "главной" не попадали в индекс ПС. Кто нибудь знает, как это правильно настраивается?

Благодарю!
User-agent: *
Allow: www.mysite.ru
Disallow: /
# запрещает скачивать все, кроме страницы www.mysite.ru
Sitemap: mysite.ru/my_sitemap.xml
Host: www.myhost.ru
Crawl-delay: 4 # задает таймаут в 4 секунды


В теории так, но я сам не делал полного запрета и подобного не встречал
Цитата
Юрий Петров пишет:
User-agent: *
Allow: www.mysite.ru
Disallow: /
# запрещает скачивать все, кроме страницы www.mysite.ru
Sitemap: mysite.ru/my_sitemap.xml
Host: www.myhost.ru
Crawl-delay: 4 # задает таймаут в 4 секунды


В теории так, но я сам не делал полного запрета и подобного не встречал
Юрий, благодарю Вас! smile:) Если Ваш вариант настройки окажется рабочим, то я отпишу здесь.
А зачем сайту, у которого все станицы, кроме главной не должны индексироваться Sitemap? smile:confused:
Лучшая тизерка для рекламодателей и вебмастеров!
Цитата
Иван Заморян пишет:
А зачем сайту, у которого все станицы, кроме главной не должны индексироваться Sitemap? smile:confused:
На сайте вся информация загружается из одного модального окна с морды сайта, когда юзер осуществляет подбор предложений. Все внутренние странички скрыты от юзера и ПС, так как там нет контента, кроме заголовков и полей. Сайт для арбитража и не хочется, чтобы вся таксономия и ноды с не уник контентом не попали в индекс. Вот такие дела...
Изменено: Александр Головинов - 20 Июля 2013 18:39
Цитата
Иван Заморян пишет:
А зачем сайту, у которого все станицы, кроме главной не должны индексироваться Sitemap? smile:confused:
Символически, чтоб добавить карту в ПС))
... по привычке прописал просто, думаю не помещает)
Страницы: 1
Читают тему (гостей: 1, пользователей: 0, из них скрытых: 0)
Новые темыОбъявленияСвободное общение
18:13 Раскрутка форума 
17:00 Телега на ручнике: РКН включил замедление и логи админок покраснели 
08:20 Гугл пухнет от кеша, а нам - крошки. Разбор $114 млрд: Адсенс в минусе, Ютуб на подписках 
22:13 SEO под нейро 
11:48 WB и Ozon - новые "русские поисковики"? Яндекс теряет коммерческую выдачу 
13:07 MAX выкатил приватные каналы - закрытые тусы теперь лепишь за минуту 
18:07 Гугл уходит из России: почему интернет тормозит и что делать 
19:52 EM24.biz - обмен валют 
18:29 Bcon.Global - [No KYC] CRYPTO GATEWAY ( ПЛАТЕЖНОЕ РЕШЕНИЕ ДЛЯ ВАШЕГО САЙТА ) 
13:15 SiteAnalyzer SEO Tools - бесплатное браузерное расширение для Chrome & Firefox 
13:14 TETChange-Обменник криптовалют 
08:58 Monitex: Мониторинг с кэшбэком 80% в USDT 
08:55 Мониторинг обменников Сrypto-scout.io 
05:39 Продвижение и настройка таргет-рекламы 
20:02 Точные прогнозы на футбол 
17:01 Добро пожаловать в цифровой мир... 
10:40 блокировка youtube 2026: ркн начинает «выдавливание». кто уже пробовал вк видео? 
09:31 Ставки на супер тренды в спорте 
16:39 Оцифровка старых физических фотографий 
13:55 Туалетные секреты: Замурчательная тема 
18:43 Индия влепила Intel 3 ляма баксов за дискриминацию по гарантии