Что добавить в robots.txt

Руслан

Сообщений: 240 Регистрация: Ноя 2011

#31

30 Ноября 2011 12:46

krasti спасибо. Движок на Жумле

http://www.komandor.dn.ua

Comunicom

Сообщений: 46 Регистрация: Сен 2010

#32

8 Апреля 2013 11:30

Добрые сутки всем и приятных дней трудовых! smile:)

Подскажите плиз, что может значит [SIZE=2]содержимое [/SIZE]robots.txt вот в таком виде:
[SIZE=2]# www.robotstxt.org/
# www.google.com/support/webmasters/bin/answer.py?hl=en&answer=156449

User-agent: *
Disallow: /
[/SIZE]

Может ли это быть причиной того, что страницы сайте на индексируются?

За ранее спасибо!

Роман Кихтенко

Сообщений: 221 Регистрация: Июн 2011

#33

8 Апреля 2013 12:03

Цитата
Comunicom пишет: Disallow: /

Чтобы запретить доступ робота к некоторым частям сайта или сайту целиком, используйте директиву 'Disallow'

Как раз у вас и стоит закрыть и главная страница сайт "/" Закрыт полностью сайт для поисковиков

Тут могла быть ваша реклама

Новые темы	Объявления	Свободное общение
22:27 LOSPOLLOS.COM - Конвертим по рецепту Хайзенберга. Dating, Mainstream, Binary Options 12:39 2Index - быстрая индексация страниц сайта и обратных ссылок 06:17 3snet - гемблинг, беттинг, форекс, бинарные опционы, майнинг 11:46 SharkBoss - партнёрская программа для монетизации ЛЮБЫХ видов трафика (включая спам). 23:10 Dao.AD: Монетизация и покупка Push/Pops/Inpage и Video трафика! 21:20 Rotapost прикрыли! Чем пользоваться? 00:23 Раскрутка форума	01:11 A-Parser 1.1 - продвинутый парсер поисковых систем, Suggest, PR, DMOZ, Whois, etc 23:28 Помогите с оценкой стоимости сайта 18:38 Продажа аккаунтов HH.RU 13:38 BIGPROXY.SHOP - Резидентные Ротационные Backconnect Proxy USA EUROPA MIX [Безлимитный трафик] 13:16 PonyBit.ru - обменный пункт PonyBit.ru (Понибит.ру) 12:46 Мобильные и Резидентные Прокси Для Соц Сетей \| 3 Гб Бесплатно 12:12 CryptoGraph — Анонимный обмен криптовалют без KYC и AML	13:08 Бесплатный майнинг Tether (USDT) 10:29 С юмором по жизни! 16:49 monetizer.agency – рекламная сеть для взрослого и развлекательного трафика. 100$ новому вебмастеру 20:43 Добро пожаловать в цифровой мир... 15:59 Про мясо 23:09 ПП от PMS remote.team - 200$ за команду 13:28 Компьютерная мышь

Новые темы

Объявления

Свободное общение

22:27 LOSPOLLOS.COM - Конвертим по рецепту Хайзенберга. Dating, Mainstream, Binary Options
12:39 2Index - быстрая индексация страниц сайта и обратных ссылок
06:17 3snet - гемблинг, беттинг, форекс, бинарные опционы, майнинг
11:46 SharkBoss - партнёрская программа для монетизации ЛЮБЫХ видов трафика (включая спам).
23:10 Dao.AD: Монетизация и покупка Push/Pops/Inpage и Video трафика!
21:20 Rotapost прикрыли! Чем пользоваться?
00:23 Раскрутка форума

01:11 A-Parser 1.1 - продвинутый парсер поисковых систем, Suggest, PR, DMOZ, Whois, etc
23:28 Помогите с оценкой стоимости сайта
18:38 Продажа аккаунтов HH.RU
13:38 BIGPROXY.SHOP - Резидентные Ротационные Backconnect Proxy USA EUROPA MIX [Безлимитный трафик]
13:16 PonyBit.ru - обменный пункт PonyBit.ru (Понибит.ру)
12:46 Мобильные и Резидентные Прокси Для Соц Сетей | 3 Гб Бесплатно
12:12 CryptoGraph — Анонимный обмен криптовалют без KYC и AML

13:08 Бесплатный майнинг Tether (USDT)
10:29 С юмором по жизни!
16:49 monetizer.agency – рекламная сеть для взрослого и развлекательного трафика. 100$ новому вебмастеру
20:43 Добро пожаловать в цифровой мир...
15:59 Про мясо
23:09 ПП от PMS remote.team - 200$ за команду
13:28 Компьютерная мышь

24.08.2022 12:10	Добавить или новый сайт
08.03.2021 21:11	Как добавить группу ключевых слов в одну статью?
05.12.2020 10:26	Как правильно закрыть категорию в robots.txt
08.02.2020 05:40	Как лучше добавить русский контент на английскую версию сайта
24.11.2019 18:31	sitemap и robots.txt