Составление robots.txt

Составление robots.txt, При составлении robots.txt возникли ньюансы

Сообщений: 147 Регистрация: Мар 2013

3 Сентября 2013 10:48

Наткнулся на статью Димы "КтонаНовенького", и он описывает там то, что необходимо закрывать служебные каталоги сайта (движка). У него самого закрыты все служебные каталоги Вордпреса. Мое мнение тут противоречиво, ибо робот "парсит" ссылки, а не физическое содержимое данных.

Кто как думает, ребята?

Coder

Сообщений: 10610 Регистрация: Мар 2013

3 Сентября 2013 12:19

Цитата
Владимир Павлович пишет: необходимо закрывать служебные каталоги

Не думаю - при полном закрытии в роботсе будет видна вся структура служебной части. Что плохо. Впрочем, это имеет смысл только при использовании самописов и ручной заточки, для безопасности, популярных движков.

Имхо.

✓ Проверенные скрипты и полезности для сайта

✓ Курсы

✓ Сервис временных ссылок

pelikesha

Сообщений: 1634 Регистрация: Окт 2010

3 Сентября 2013 22:45

Цитата
Владимир Павлович пишет: ибо робот "парсит" ссылки, а не физическое содержимое данных

По вашему если на страничку нет ни одной ссылки, робот её никогда не увидит?

Цитата
Coder пишет: при полном закрытии в роботсе будет видна вся структура служебной части. Что плохо.

Для wordpress можно положить весь движок не в корень, а в отдельную папку например wordpress и закрыть ее в robots.txt (или, быть может, открыть доступ к папке uploads, хотя я и её закрываю обычно) - и движок скрыт, и структура не открыта.

Coder

Сообщений: 10610 Регистрация: Мар 2013

3 Сентября 2013 22:50

Цитата
pelikesha пишет: положить весь движок не в корень, а в отдельную папку

Согласен. Только будет смутное предположение, что вся структура популярного движка лежит в какой-то из этих папок. Поэтому все равно структура будет понятна. Впрочем, только мое мнение - популярные движки вообще сложно маскировать, имхо.

bliking

Сообщений: 3680 Регистрация: Окт 2010

3 Сентября 2013 23:12

Цитата
pelikesha пишет: По вашему если на страничку нет ни одной ссылки, робот её никогда не увидит?

эм...объясните мне, пжста, как он ее увидит, если нет ни одной ссылки на эту страницу? с самого сайта допустим тоже нет ссылок на эту статью, можно сказать она изолирована.

Мне для развития и понимания, а то я так понял, я чего то в этой жизни не понимаю)

20 крутых ссылок по 25 рублей

Владимир Павлович

Сообщений: 147 Регистрация: Мар 2013

4 Сентября 2013 07:02

Цитата

bliking пишет:

Цитата
pelikesha пишет: По вашему если на страничку нет ни одной ссылки, робот её никогда не увидит?

Аха, точно.. я тоже теперь чего-то не понимаю. Если на страницы нет ссылки, например, на вход в админ панель, нет её в карте сайта, а она не закрыта роботсом, то её робот по моему ни как не найдет. Робот это скрипт кода, который парсит содержимое страницы.

pelikesha

Сообщений: 1634 Регистрация: Окт 2010

4 Сентября 2013 07:28

Цитата
bliking пишет: эм...объясните мне, пжста, как он ее увидит, если нет ни одной ссылки на эту страницу? с самого сайта допустим тоже нет ссылок на эту статью, можно сказать она изолирована.

Ок, проведу эксперимент.

pelikesha

Сообщений: 1634 Регистрация: Окт 2010

4 Сентября 2013 12:24

В общем пообщавшись с коллегами, выяснилась следующая информация:

Поисковики могут проиндексировать страничку, даже если на неё не ведет ни одна ссылка, но при условии, что эта страничка открывалась когда-либо и кем-либо. Различные браузеры и тулбары порой сообщают поисковикам сведения о просмотренных пользователями страницах, а те, в свою очередь, затем принимают решение об индексации оных.

Для чистоты эксперимента необходимо:

1. Залить html страничку с уникальным контентом через ftp в корень сайта
2. Не заходить на неё ни разу
3. После пары-тройки апдейтов поисковых систем проверить наличие в индексе

Владимир Павлович

Сообщений: 147 Регистрация: Мар 2013

4 Сентября 2013 12:30

Цитата

pelikesha пишет:

Поисковики могут проиндексировать страничку, даже если на неё не ведет ни одна ссылка, но при условии, что эта страничка открывалась когда-либо и кем-либо. Различные браузеры и тулбары порой сообщают поисковикам сведения о просмотренных пользователями страницах, а те, в свою очередь, затем принимают решение об индексации оных.

Да, тут согласен. В наше время сложно что утаить от поисковых систем. Но при этом в роботсе закрывать служебные папки (к которым кстати права ограничены) я не вижу смысла. Поэтому, делаю вывод, что все таки мнение Дмитрия на этот счет ошибочное.

pelikesha

Сообщений: 1634 Регистрация: Окт 2010

#10

4 Сентября 2013 13:40

Я не очень понимаю чем вызвано такое нежелание закрыть их в роботсе? Объяснив роботу что "это не надо индексировать и смотреть" вы сэкономите ему время, которое пойдет на индексирование основного содержимого вашего сайта.

Владимир Павлович

Сообщений: 147 Регистрация: Мар 2013

#11

4 Сентября 2013 15:49

Цитата
pelikesha пишет: Я не очень понимаю чем вызвано такое нежелание закрыть их в роботсе?

не знаю, не знаю. По моему служебные каталоги и так вне видимости поисковиков, так как ядро CMF/CMS закрыто для чтения с браузера. Да и фронт-контроллер использует свой собственный роутинг. Мне то не жалко этих строчек в роботсе smile:)

, но все же в статье идет акцент на НЕОБХОДИМОСТЬ закрытия таких директорий. Я вот и спросил. И пока не нашел аргумента "ЗА".

Цитата
pelikesha пишет: Объяснив роботу что "это не надо индексировать и смотреть"

Робот и так до туда не дойдет ввиду описанных двух причин выше. Если только подстраховаться. Но это не аргумент обязательного закрытия директорий и "расшаривание" их на общую аудиторию.

pelikesha

Сообщений: 1634 Регистрация: Окт 2010

#12

4 Сентября 2013 17:35

Цитата
Владимир Павлович пишет: Робот и так до туда не дойдет ввиду описанных двух причин выше.

Дойдет запросто. Просто в коде вашего сайта обнаружит подключенные таблицы стилей, js-файлы и пойдет гулять по всем системным папкам.

Похожие темы:

05.12.2020 10:26	Как правильно закрыть категорию в robots.txt
24.11.2019 18:31	sitemap и robots.txt
29.07.2018 17:42	Запрет страниц в файле robots.txt
04.07.2018 23:26	Вопрос по robots
03.01.2018 17:05	Прошу помочь настроить Robots.txt

Читают тему (гостей: 1, пользователей: 0, из них скрытых: 0)

Новые темы	Объявления	Свободное общение
22:27 LOSPOLLOS.COM - Конвертим по рецепту Хайзенберга. Dating, Mainstream, Binary Options 12:39 2Index - быстрая индексация страниц сайта и обратных ссылок 06:17 3snet - гемблинг, беттинг, форекс, бинарные опционы, майнинг 11:46 SharkBoss - партнёрская программа для монетизации ЛЮБЫХ видов трафика (включая спам). 23:10 Dao.AD: Монетизация и покупка Push/Pops/Inpage и Video трафика! 21:20 Rotapost прикрыли! Чем пользоваться? 00:23 Раскрутка форума	20:33 BestX24 - быстрый и безопасный обменник криптовалют и электронных денежных средств 16:17 CryptoGraph — Анонимный обмен криптовалют без KYC и AML 13:51 Скрипт обменника валют 07:11 Купить отзывы на Яндекс и Гугл картах, на Авито, на Отзовике и IRecommend 04:10 Просто $0.04/IP 9PROXY.COM Резидентные прокси Неограниченная пропускная способность Уникальная политика замены Без чёрного списка 13:51 CryptoMonitor.info - ваш надеждный обменник BTC USDT XMR (без KYC) 13:16 Продам аккаунты Gmail USA IP \| Gmail MIX IP \| Outlook Old	10:29 С юмором по жизни! 16:49 monetizer.agency – рекламная сеть для взрослого и развлекательного трафика. 100$ новому вебмастеру 20:43 Добро пожаловать в цифровой мир... 15:59 Про мясо 23:09 ПП от PMS remote.team - 200$ за команду 13:28 Компьютерная мышь 22:55 Ну что, кто куда деваете свои сайты?