Посоветуйте/проконсультируйте пожалуйста по поводу robots.txt
Страницы: 1
Посоветуйте/проконсультируйте пожалуйста по поводу robots.txt, по поводу robots.txt
Доброго времени суток. Я в этой теме еще совсем новичек, боюсь что закрыл что то лишнее. Кому не трудно, гляньте пожалуйста. 
P.S. DLE 10.1 если єто играет роль:)

User-agent: *
Disallow: /autobackup.php
Disallow: /admin.php
Disallow: /*print
Disallow: /2013/
Disallow: /2014/
Disallow: /page/
Disallow: */page/*
Disallow: /user/
Disallow: /backup/
Disallow: /engine/
Disallow: /language/
Disallow: /templates/
Disallow: /upgrade/
Disallow: /uploads/
Disallow: /newposts/
Disallow: /favorites/
Disallow: /index.php?do=addnews
Disallow: /index.php?do=feedback
Disallow: /index.php?do=lostpassword
Disallow: /index.php?do=pm
Disallow: /index.php?do=register
Disallow: /index.php?do=stats
Disallow: /index.php?do=search
Disallow: /index.php?do=lastcomments
Disallow: /index.php?subaction=newposts
Disallow: /statistics.html
Disallow: /addnews.html

Sitemap: my-site/sitemap.xml
Host: my-site
Я просто не пойму, почему в роботс закрыты ссылки на регистрацию, востановление пароля и тд. но в гугл они есть все равно. Или это могло случится когда еще роботс был не заполнен?
Заранее спасибо.
Изменено: Владислав Крысько - 22 Января 2014 02:36
Страницы: 1
Похожие темы:
Читают тему (гостей: 1, пользователей: 0, из них скрытых: 0)
Новые темыОбъявленияСвободное общение
18:44 LOSPOLLOS.COM - Конвертим по рецепту Хайзенберга. Dating, Mainstream, Binary Options 
13:43 Стоит ли добавлять сайт в Rambler топ 100? 
13:12 Покупные ссылки 
12:57 Rotapost прикрыли! Чем пользоваться? 
15:12 Ночной бар в Паттайе: как случайная встреча с "тайкой" и её кадыком перевернула мой взгляд на продвижение сайта в Google 2026 
15:01 Webvork - международная товарная СРА сеть с сертифицированными офферами на Европу. 
07:24 3snet - гемблинг, беттинг, форекс, бинарные опционы, майнинг 
01:31 Продам обменник криптовалюты, а также новый обменник под ключ с обучением. Скидки на скрипты обменника 
01:07 Full-Stack Developer — Сайты и Софт любой сложности | Developer Websites and Soft of any Complexity! 
20:42 E-currency.exchange — ваш помощник в мире обменов 
17:00 Belurk — высокоскоростные анонимные прокси от 0,24 рублей 
15:15 Продажа горячих лидов и готовых баз для финансовых проектов, брокеров и чарджбэк-компаний. 
08:39 Мониторинг обменников Сrypto-scout.io 
04:11 Просто $0.04/IP 9PROXY.COM Резидентные прокси Неограниченная пропускная способность Уникальная политика замены Без чёрного списка 
22:59 Про мясо 
15:07 Добро пожаловать в цифровой мир... 
22:12 BYTIK.shop – сервис по продвижению в популярных социальных сетях​ 
10:10 накрутка трафика в SimilarWeb 
16:50 Компьютерная мышь 
22:11 С юмором по жизни! 
23:03 Точные прогнозы на футбол