Посоветуйте/проконсультируйте пожалуйста по поводу robots.txt
Страницы: 1
Посоветуйте/проконсультируйте пожалуйста по поводу robots.txt, по поводу robots.txt
Доброго времени суток. Я в этой теме еще совсем новичек, боюсь что закрыл что то лишнее. Кому не трудно, гляньте пожалуйста. 
P.S. DLE 10.1 если єто играет роль:)

User-agent: *
Disallow: /autobackup.php
Disallow: /admin.php
Disallow: /*print
Disallow: /2013/
Disallow: /2014/
Disallow: /page/
Disallow: */page/*
Disallow: /user/
Disallow: /backup/
Disallow: /engine/
Disallow: /language/
Disallow: /templates/
Disallow: /upgrade/
Disallow: /uploads/
Disallow: /newposts/
Disallow: /favorites/
Disallow: /index.php?do=addnews
Disallow: /index.php?do=feedback
Disallow: /index.php?do=lostpassword
Disallow: /index.php?do=pm
Disallow: /index.php?do=register
Disallow: /index.php?do=stats
Disallow: /index.php?do=search
Disallow: /index.php?do=lastcomments
Disallow: /index.php?subaction=newposts
Disallow: /statistics.html
Disallow: /addnews.html

Sitemap: my-site/sitemap.xml
Host: my-site
Я просто не пойму, почему в роботс закрыты ссылки на регистрацию, востановление пароля и тд. но в гугл они есть все равно. Или это могло случится когда еще роботс был не заполнен?
Заранее спасибо.
Изменено: Владислав Крысько - 22 Января 2014 02:36
Страницы: 1
Похожие темы:
Читают тему (гостей: 1, пользователей: 0, из них скрытых: 0)
Новые темыОбъявленияСвободное общение
12:28 adsense в 2026: кто реально выводит копейку через киргизию? 
12:26 Очередной взлом через плагин. Хакеры получают админку без пароля 
12:19 Биржи ссылок в 2026 - реально ли новичку с одним сайтом поднять копейку? 
12:12 LOSPOLLOS.COM - Конвертим по рецепту Хайзенберга. Dating, Mainstream, Binary Options 
23:24 Яндекс Нейро и выдача в 2026 - остались ли лазейки для маленьких сайтов? 
23:05 Раскрутка форума 
10:50 Альтернативы Адсенсу в 2026 - есть живые? 
13:32 Мониторинг обменников Сrypto-scout.io 
12:07 Копирайтинг RU/EN, переводы высокого уровня (рус/англ/укр), SEO-оптимизированные тексты под ключ для выхода в Топ (2000+ отзывов) 
11:41 Рассылки СМС/SMS, Вайбер/Viber, Ватсап/Whatsapp, Телеграм/Telegram любой тематики по всему миру 
10:54 От $0.015 за IP | $0.68 за ГБ | 9PROXY.COM | 20+ млн резидентных прокси | 99,95% аптайм | Без чёрных списков 
10:12 Monitex: Мониторинг с кэшбэком 80% в USDT 
22:47 1obmen.net - обмен криптовалют: выплаты в USD, EUR, GBP, CAD, CNY 
15:33 GhostRocket.pro — Взлетаем в новую эру криптообмена! 
12:30 8 марта: желаю аптайма 99.9% и e-e-a-t без локов 
12:29 Огородники 
16:47 Какой фильм вы любите посмотреть перед сном? 
15:46 молодильные яблоки и живая вода 
10:11 О природе путешествий. 
01:47 Точные прогнозы на футбол 
15:04 Сайты Рунета