|
#1
3 Сентября 2013 10:48
Наткнулся на статью Димы "КтонаНовенького", и он описывает там то, что необходимо закрывать служебные каталоги сайта (движка). У него самого закрыты все служебные каталоги Вордпреса. Мое мнение тут противоречиво, ибо робот "парсит" ссылки, а не физическое содержимое данных.
Кто как думает, ребята? |
|
#2
3 Сентября 2013 12:19
Имхо. |
|
#3
3 Сентября 2013 22:45
|
|
#4
3 Сентября 2013 22:50
|
|
#5
3 Сентября 2013 23:12
Мне для развития и понимания, а то я так понял, я чего то в этой жизни не понимаю) |
|
#6
4 Сентября 2013 07:02
Аха, точно.. я тоже теперь чего-то не понимаю. Если на страницы нет ссылки, например, на вход в админ панель, нет её в карте сайта, а она не закрыта роботсом, то её робот по моему ни как не найдет. Робот это скрипт кода, который парсит содержимое страницы. |
|
#7
4 Сентября 2013 07:28
|
|
#8
4 Сентября 2013 12:24
В общем пообщавшись с коллегами, выяснилась следующая информация:
Поисковики могут проиндексировать страничку, даже если на неё не ведет ни одна ссылка, но при условии, что эта страничка открывалась когда-либо и кем-либо. Различные браузеры и тулбары порой сообщают поисковикам сведения о просмотренных пользователями страницах, а те, в свою очередь, затем принимают решение об индексации оных. Для чистоты эксперимента необходимо: 1. Залить html страничку с уникальным контентом через ftp в корень сайта 2. Не заходить на неё ни разу 3. После пары-тройки апдейтов поисковых систем проверить наличие в индексе |
|
#9
4 Сентября 2013 12:30
Да, тут согласен. В наше время сложно что утаить от поисковых систем. Но при этом в роботсе закрывать служебные папки (к которым кстати права ограничены) я не вижу смысла. Поэтому, делаю вывод, что все таки мнение Дмитрия на этот счет ошибочное. |
|
#10
4 Сентября 2013 13:40
Я не очень понимаю чем вызвано такое нежелание закрыть их в роботсе? Объяснив роботу что "это не надо индексировать и смотреть" вы сэкономите ему время, которое пойдет на индексирование основного содержимого вашего сайта.
|
|
#11
4 Сентября 2013 15:49
 , но все же в статье идет акцент на НЕОБХОДИМОСТЬ закрытия таких директорий. Я вот и спросил. И пока не нашел аргумента "ЗА".
|
|
#12
4 Сентября 2013 17:35
|
||||
| 05.12.2020 10:26 | Как правильно закрыть категорию в robots.txt |
| 24.11.2019 18:31 | sitemap и robots.txt |
| 29.07.2018 17:42 | Запрет страниц в файле robots.txt |
| 04.07.2018 23:26 | Вопрос по robots |
| 03.01.2018 17:05 | Прошу помочь настроить Robots.txt |
23.12.2025 (49 дней назад)
10.02.2026 (сегодня)
