Посоветуйте/проконсультируйте пожалуйста по поводу robots.txt
Страницы: 1
Посоветуйте/проконсультируйте пожалуйста по поводу robots.txt, по поводу robots.txt
Доброго времени суток. Я в этой теме еще совсем новичек, боюсь что закрыл что то лишнее. Кому не трудно, гляньте пожалуйста. 
P.S. DLE 10.1 если єто играет рольsmile:)

User-agent: *
Disallow: /autobackup.php
Disallow: /admin.php
Disallow: /*print
Disallow: /2013/
Disallow: /2014/
Disallow: /page/
Disallow: */page/*
Disallow: /user/
Disallow: /backup/
Disallow: /engine/
Disallow: /language/
Disallow: /templates/
Disallow: /upgrade/
Disallow: /uploads/
Disallow: /newposts/
Disallow: /favorites/
Disallow: /index.php?do=addnews
Disallow: /index.php?do=feedback
Disallow: /index.php?do=lostpassword
Disallow: /index.php?do=pm
Disallow: /index.php?do=register
Disallow: /index.php?do=stats
Disallow: /index.php?do=search
Disallow: /index.php?do=lastcomments
Disallow: /index.php?subaction=newposts
Disallow: /statistics.html
Disallow: /addnews.html

Sitemap: my-site/sitemap.xml
Host: my-site
Я просто не пойму, почему в роботс закрыты ссылки на регистрацию, востановление пароля и тд. но в гугл они есть все равно. Или это могло случится когда еще роботс был не заполнен?
Заранее спасибо.
Изменено: Владислав Крысько - 22 Января 2014 02:36
Страницы: 1
Похожие темы:
Читают тему (гостей: 1, пользователей: 0, из них скрытых: 0)
Новые темыОбъявленияСвободное общение
08:08 «Тавро» - «российский Telegram» — клиент популярного мессенджера для ОС «Аврора» 
22:05 АП Яндекс ИКС 06.03.2023 
21:08 Webvork - международная товарная СРА сеть с сертифицированными офферами на Европу. 
19:43 Купил сайт и забросил 
19:36 Пост в блоге "2022 год. Кризис. Что делать с SEO? Вкладывать деньги" 
19:34 Кому пришла выплата с AdSense? 
19:29 GPT-4 от ChatGPT языковая модель нового поколения 
06:50 Статейные семантические ядра для сайтов, кратное увеличение клиентов 
00:18 sms.chekons.com - Сервис для получения SMS на реальные номера USA "Non-VoIP, безлим SMS, API" 
21:18 Живые лайки, подписчики, просмотры и комментарии Дешево. Быстро. Безопасно. 
19:15 A-Parser 1.1 - продвинутый парсер поисковых систем, Suggest, PR, DMOZ, Whois, etc 
14:58 Регистрация компании за рубежом + Stripe / PayPal и евросчет: удаленно, быстро, надежно 
14:31 ZennoPoster - софт №1 для автоматизации любых SEO задач! 
14:14 Мобильные скоростные прокси 4G 
21:21 Некомплексное SEO-продвижение сайтов 
14:35 С юмором по жизни! 
13:03 В России начали блокировать VPN-подключения 
12:59 В России и Европе одновременно озаботились маркировкой контента, созданного нейросетями 
21:35 Я придумал новую игру 
15:51 Партнерка Cpa.House 
19:14 Как получить рефералов и посетителей на сайт бесплатно.