Цитата |
---|
ninzj_lost пишет:
Местный Шерлок пишет:
Disallow: /articles/2/*это может сработать |
Да, сработает, но это лишь закроет всю последовательность составных символов
/articles/2/, т.е. все что встретиться именно с этой последовательностью и сработает в рамках конкретных дирректорий. А как быть с остальными документами внутри?
Символ звездочка (*) обозначает запрет на индексацию последовательность указанных символов. Например, строчка: Disallow: *page запретит к индексации страницы, в адресе которых встречается последовательность конкретных символов
page. Таким образом, не будут индексироваться страницы с адресами:
http://site.ru/blabla/page.html
http://site.ru/newpage/
http://site.ru/111/page/
http://site.ru/1bla1/555/page1/
http://site.ru/page/ и т.д.
Т.е. все страницы, где встречается строгая последовательность символов
p a g e будут закрыты.
Если это не удовлетворяет, воспользуйтесь мета тегом <META NAME="ROBOTS" CONTENT="NOINDEX, NOFOLLOW">, поставив его в теле документа, внутри <head>, указав его на каждой странице требуемой запрета от индексации.