Посоветуйте/проконсультируйте пожалуйста по поводу robots.txt
Страницы: 1
Посоветуйте/проконсультируйте пожалуйста по поводу robots.txt, по поводу robots.txt
Доброго времени суток. Я в этой теме еще совсем новичек, боюсь что закрыл что то лишнее. Кому не трудно, гляньте пожалуйста. 
P.S. DLE 10.1 если єто играет роль:)

User-agent: *
Disallow: /autobackup.php
Disallow: /admin.php
Disallow: /*print
Disallow: /2013/
Disallow: /2014/
Disallow: /page/
Disallow: */page/*
Disallow: /user/
Disallow: /backup/
Disallow: /engine/
Disallow: /language/
Disallow: /templates/
Disallow: /upgrade/
Disallow: /uploads/
Disallow: /newposts/
Disallow: /favorites/
Disallow: /index.php?do=addnews
Disallow: /index.php?do=feedback
Disallow: /index.php?do=lostpassword
Disallow: /index.php?do=pm
Disallow: /index.php?do=register
Disallow: /index.php?do=stats
Disallow: /index.php?do=search
Disallow: /index.php?do=lastcomments
Disallow: /index.php?subaction=newposts
Disallow: /statistics.html
Disallow: /addnews.html

Sitemap: my-site/sitemap.xml
Host: my-site
Я просто не пойму, почему в роботс закрыты ссылки на регистрацию, востановление пароля и тд. но в гугл они есть все равно. Или это могло случится когда еще роботс был не заполнен?
Заранее спасибо.
Изменено: Владислав Крысько - 22 Января 2014 02:36
Страницы: 1
Похожие темы:
Читают тему (гостей: 1, пользователей: 0, из них скрытых: 0)
Новые темыОбъявленияСвободное общение
16:33 Работаем в P2P платежах BYBIT | USDT - RUB , RUB - USDT | Ищем постоянных клиентов , выгодные условия. 
20:13 Dao.AD: Монетизация и покупка Push/Pops/Inpage и Video трафика! 
19:41 25$ (ежемесячно) AdSense 
21:39 Подскажите где продвигать сайт. 
10:57 3snet - гемблинг, беттинг, форекс, бинарные опционы, майнинг 
19:12 Мошенники-копирайтеры 
08:57 Индексация страниц 
17:15 Услуги рассылки Viber|Whatsapp|IMO. 
16:45 Cryptonet.pro - быстрый и надежный обмен электронных валют! 
15:57 Volna.money 
15:40 CoinCapital  
14:54 Swapper.ws - Обмен криптовалют. Быстро, выгодно, круглосуточно. 
14:25 Продам аккаунты Gmail USA IP | Gmail MIX IP | Outlook Old 
12:51 JustProxy.Biz - Резидентные прокси без ограничения по трафику 
21:05 Точные прогнозы на футбол 
15:05 Топ-5 способов использовать мобильные прокси для бизнеса: подробный обзор 
11:58 Куплю проигрышные букмекерские аккаунты 
11:58 Добро пожаловать в цифровой мир... 
00:12 Огородники 
10:59 Новости искусственного интеллекта 
04:26 Хром ругается на форум