Как настроить robots.txt с ограничением индексирования всех страниц, кроме главной?
Страницы: 1
Как настроить robots.txt с ограничением индексирования всех страниц, кроме главной?
Мое почтение, ребята! smile:)
Возникла сложность с настройкой роботс.тхт smile:confused: - необходимо, чтобы все страницы кроме "главной" не попадали в индекс ПС. Кто нибудь знает, как это правильно настраивается?

Благодарю!
User-agent: *
Allow: www.mysite.ru
Disallow: /
# запрещает скачивать все, кроме страницы www.mysite.ru
Sitemap: mysite.ru/my_sitemap.xml
Host: www.myhost.ru
Crawl-delay: 4 # задает таймаут в 4 секунды


В теории так, но я сам не делал полного запрета и подобного не встречал
Цитата
Юрий Петров пишет:
User-agent: *
Allow: www.mysite.ru
Disallow: /
# запрещает скачивать все, кроме страницы www.mysite.ru
Sitemap: mysite.ru/my_sitemap.xml
Host: www.myhost.ru
Crawl-delay: 4 # задает таймаут в 4 секунды


В теории так, но я сам не делал полного запрета и подобного не встречал
Юрий, благодарю Вас! smile:) Если Ваш вариант настройки окажется рабочим, то я отпишу здесь.
А зачем сайту, у которого все станицы, кроме главной не должны индексироваться Sitemap? smile:confused:
Лучшая тизерка для рекламодателей и вебмастеров!
Цитата
Иван Заморян пишет:
А зачем сайту, у которого все станицы, кроме главной не должны индексироваться Sitemap? smile:confused:
На сайте вся информация загружается из одного модального окна с морды сайта, когда юзер осуществляет подбор предложений. Все внутренние странички скрыты от юзера и ПС, так как там нет контента, кроме заголовков и полей. Сайт для арбитража и не хочется, чтобы вся таксономия и ноды с не уник контентом не попали в индекс. Вот такие дела...
Изменено: Александр Головинов - 20 Июля 2013 18:39
Цитата
Иван Заморян пишет:
А зачем сайту, у которого все станицы, кроме главной не должны индексироваться Sitemap? smile:confused:
Символически, чтоб добавить карту в ПС))
... по привычке прописал просто, думаю не помещает)
Страницы: 1
Читают тему (гостей: 1, пользователей: 0, из них скрытых: 0)
Новые темыОбъявленияСвободное общение
16:54 сео тренды 2026 - что щас вообще работает? 
16:47 Ап выдачи Яндекса 8 апреля - есть движение, но интереснее что творится с AI-ответами Google 
16:45 Куки теперь как бэкдор - через cookie можно управлять сайтом и не палиться 
16:43 Ninja Forms дырявый - можно залить файл без авторизации и получить доступ к сайту 
16:39 Как настроить robots.txt и sitemap, чтобы страницы нормально заходили в индекс 
16:37 Яндекс Нейро и выдача в 2026 - остались ли лазейки для маленьких сайтов? 
16:29 ИКС Яндекс АПдейт 1 апреля 2026. Обновлён алгоритм расчёта 
16:55 Русские народные сказки - оцените! 
16:34 Создам под вашу нишу сетку сайтов-сателлитов для привлечения целевого трафика 
10:35 От $0.015 за IP | $0.68 за ГБ | 9PROXY.COM | 20+ млн резидентных прокси | 99,95% аптайм | Без чёрных списков 
10:30 BestChange – обменивать электронную валюту можно быстро и выгодно 
10:21 TUNNEL-to-PROXY: превращает тысячи публичных сетевых конфигураций - в стабильные SOCKS5-прокси! 
09:03 Администратор сайта WordPress + контент-менеджер. Недорого. 
08:40 Swapwatch.org — Мониторинг криптовалютных обменников 
16:51 Чак Норрис ушел - 19 марта 2026, 86 лет, семья подтвердила 
16:42 А вы бегаете? 
16:42 Список обновленных тем пуст... 
16:40 "Вымпелком" предложил белые списки для части абонентов - выборочный интернет вместо полного доступа 
15:29 арбитражники 
14:06 С юмором по жизни! 
10:18 Добро пожаловать в цифровой мир...