Посоветуйте/проконсультируйте пожалуйста по поводу robots.txt
Страницы: 1
Посоветуйте/проконсультируйте пожалуйста по поводу robots.txt, по поводу robots.txt
Доброго времени суток. Я в этой теме еще совсем новичек, боюсь что закрыл что то лишнее. Кому не трудно, гляньте пожалуйста. 
P.S. DLE 10.1 если єто играет рольsmile:)

User-agent: *
Disallow: /autobackup.php
Disallow: /admin.php
Disallow: /*print
Disallow: /2013/
Disallow: /2014/
Disallow: /page/
Disallow: */page/*
Disallow: /user/
Disallow: /backup/
Disallow: /engine/
Disallow: /language/
Disallow: /templates/
Disallow: /upgrade/
Disallow: /uploads/
Disallow: /newposts/
Disallow: /favorites/
Disallow: /index.php?do=addnews
Disallow: /index.php?do=feedback
Disallow: /index.php?do=lostpassword
Disallow: /index.php?do=pm
Disallow: /index.php?do=register
Disallow: /index.php?do=stats
Disallow: /index.php?do=search
Disallow: /index.php?do=lastcomments
Disallow: /index.php?subaction=newposts
Disallow: /statistics.html
Disallow: /addnews.html

Sitemap: my-site/sitemap.xml
Host: my-site
Я просто не пойму, почему в роботс закрыты ссылки на регистрацию, востановление пароля и тд. но в гугл они есть все равно. Или это могло случится когда еще роботс был не заполнен?
Заранее спасибо.
Изменено: Владислав Крысько - 22 Января 2014 02:36
Страницы: 1
Похожие темы:
Читают тему (гостей: 1, пользователей: 0, из них скрытых: 0)
Новые темыОбъявленияСвободное общение
06:18 АП ИКС 13.08.2022 | Апдейт Яндекс ИКС 13 августа 2022 
20:27 VKAccountsManager — лучший инструмент для продвижения и заработка Вконтакте 
11:30 Апдейт Яндекс выдача 13 августа 2022 
21:44 Webvork - международная товарная СРА сеть с сертифицированными офферами на Европу. 
16:53 FriendsPartners партнерская программа по Гемблингу 
15:52 Dao.AD: Монетизация и покупка Push/Pops/Inpage и Video трафика! 
15:14 Adtrafico - Правильная партнёрская сеть под бурж трафик 
09:26 Автоматизация работы в браузере BAS 
22:38 Google Ads с тратами Украина | Google Ads со спендом! 
18:27 Копирайтер - небольшие рекламные тексты / 20руб-1000знаков 
18:25 Sova.gg - надежный обменник криптовалюты. 
15:01 Продвижение сайтов: прогоны (крауд ссылки, цитирование и брендинг). Опыт с 2009 года и много отзывов о работе. 
01:07 Торрент сайт | ENG | 1800 уников 
16:48 Современный скрипт обменника электронных валют 
16:28 Есть нормальная Тизерка? 
14:14 С юмором по жизни! 
13:45 Как обходить блокировку Ютуба 
11:29 Перл Орфограммки 
09:58 Как принимать заказы на форуме 
09:23 Сбербанк предупредил о схеме мошенничества с "пирамидными" покупками на маркетплейсах 
18:12 Бесплатный мини-аудит юзабилити и конверсии + технический SEO-аудит в подарок