Посоветуйте/проконсультируйте пожалуйста по поводу robots.txt
Страницы: 1
Посоветуйте/проконсультируйте пожалуйста по поводу robots.txt, по поводу robots.txt
Доброго времени суток. Я в этой теме еще совсем новичек, боюсь что закрыл что то лишнее. Кому не трудно, гляньте пожалуйста. 
P.S. DLE 10.1 если єто играет роль:)

User-agent: *
Disallow: /autobackup.php
Disallow: /admin.php
Disallow: /*print
Disallow: /2013/
Disallow: /2014/
Disallow: /page/
Disallow: */page/*
Disallow: /user/
Disallow: /backup/
Disallow: /engine/
Disallow: /language/
Disallow: /templates/
Disallow: /upgrade/
Disallow: /uploads/
Disallow: /newposts/
Disallow: /favorites/
Disallow: /index.php?do=addnews
Disallow: /index.php?do=feedback
Disallow: /index.php?do=lostpassword
Disallow: /index.php?do=pm
Disallow: /index.php?do=register
Disallow: /index.php?do=stats
Disallow: /index.php?do=search
Disallow: /index.php?do=lastcomments
Disallow: /index.php?subaction=newposts
Disallow: /statistics.html
Disallow: /addnews.html

Sitemap: my-site/sitemap.xml
Host: my-site
Я просто не пойму, почему в роботс закрыты ссылки на регистрацию, востановление пароля и тд. но в гугл они есть все равно. Или это могло случится когда еще роботс был не заполнен?
Заранее спасибо.
Изменено: Владислав Крысько - 22 Января 2014 02:36
Страницы: 1
Похожие темы:
Читают тему (гостей: 1, пользователей: 0, из них скрытых: 0)
Новые темыОбъявленияСвободное общение
19:52 Profit Pixels - In-House Форекс, Крипто, Трейдинг CPA Офферы | Еженедельные Выплаты | CPA до $950 
17:55 Dao.AD: Монетизация и покупка Push/Pops/Inpage и Video трафика! 
17:04 Webvork - международная товарная СРА сеть с сертифицированными офферами на Европу. 
15:43 Adtrafico - Правильная партнёрская сеть под бурж трафик 
12:50 Партнерская программа OWNR WALLET 
01:46 Настроить поставщиков в программе E-Trade PriceList Importer 
15:26 Найти элемент в коде 
13:02 Ural-obmen.ru — выгодный сервис обмена 
12:52 Obama.ru - безопасный обмен криптовалют и электронных денежных средств 
12:51 Expa24.com Обмен Криптовалют. Ввод/Вывод наличные Украина/Северный Кипр/Мир 
12:36 Transit-Bit.com - Обмен USDT на IDR, THB, RUB и наличные 
11:39 USMobileSMSBot - 
18:22 Coin Click.cc - Быстрый и надежный обмен электронных валют в два клика 
12:33 Услуга чертежника и 3D моделирования 
15:51 Видимо, похороны СУПРа уже прошли как-то по-тихому 
22:54 Точные прогнозы на футбол 
12:48 Каспкрски ОС 
11:21 Ням-ням! - 8 деликатесов, которые когда-то ели только бедные люди 
14:41 Бесплатный мини-аудит юзабилити и конверсии + технический SEO-аудит в подарок 
15:24 Добро пожаловать в цифровой мир... 
22:58 У меня дикая просадка по РСЯ за последние 3 суток