Здравствуйте всем, дайте пожалуйста правельный robotx.txt для dle 9.3.
Спасибо заранее.
Спасибо заранее.
Правильный robots.txt
Правильный robots.txt
|
#1
30 Июля 2011 14:06
|
|
#2
30 Июля 2011 14:18
Я много прочитал литературы по созданию robots.txt, и сделал себе вот такой:
User-agent: * Disallow: /engine/download.php Disallow: /engine/go.php Disallow: /user/ Disallow: /to/? Disallow: /newposts/ Disallow: /engine/ Disallow: /language/ Disallow: /templates/ Disallow: /upgrade/ Disallow: /favorites/ Disallow: /tags/ Disallow: /*page/ Disallow: /page/ Disallow: /2010/ Disallow: /2011/ Disallow: /statistics.html Disallow: /*subaction=userinfo Disallow: /*subaction=newposts Disallow: /*do=lastcomments Disallow: /*do=feedback Disallow: /*do=register Disallow: /*do=lostpassword Disallow: /*do=addnews Disallow: /*do=stats Disallow: /*do=pm Disallow: /*print Disallow: /*userinfo Disallow: /index.php?subaction=userinfo Disallow: /index.php?do=pm Disallow: /index.php?do=search Disallow: /index.php?subaction=newposts Disallow: /index.php?do=rules Disallow: /rules.html User-agent: Yandex Disallow: /engine/download.php Disallow: /engine/go.php Disallow: /user/ Disallow: /to/? Disallow: /newposts/ Disallow: /engine/ Disallow: /language/ Disallow: /templates/ Disallow: /upgrade/ Disallow: /favorites/ Disallow: /tags/ Disallow: /*page/ Disallow: /page/ Disallow: /2010/ Disallow: /2011/ Disallow: /statistics.html Disallow: /*subaction=userinfo Disallow: /*subaction=newposts Disallow: /*do=lastcomments Disallow: /*do=feedback Disallow: /*do=register Disallow: /*do=lostpassword Disallow: /*do=addnews Disallow: /*do=stats Disallow: /*do=pm Disallow: /*print Disallow: /*userinfo Disallow: /index.php?subaction=userinfo Disallow: /index.php?do=pm Disallow: /index.php?do=search Disallow: /index.php?subaction=newposts Disallow: /index.php?do=rules Disallow: /rules.html Host: bestcwalk.com User-agent: Googlebot Disallow: /engine/download.php Disallow: /engine/go.php Disallow: /user/ Disallow: /to/? Disallow: /newposts/ Disallow: /engine/ Disallow: /language/ Disallow: /templates/ Disallow: /upgrade/ Disallow: /favorites/ Disallow: /tags/ Disallow: /*page/ Disallow: /page/ Disallow: /2010/ Disallow: /2011/ Disallow: /statistics.html Disallow: /*subaction=userinfo Disallow: /*subaction=newposts Disallow: /*do=lastcomments Disallow: /*do=feedback Disallow: /*do=register Disallow: /*do=lostpassword Disallow: /*do=addnews Disallow: /*do=stats Disallow: /*do=pm Disallow: /*print Disallow: /*userinfo Disallow: /index.php?subaction=userinfo Disallow: /index.php?do=pm Disallow: /index.php?do=search Disallow: /index.php?subaction=newposts Disallow: /index.php?do=rules Disallow: /rules.html Sitemap: http://site.ru/sitemap.xml (если ваш сайт проиндексировал робот с www, то дописывать www, если нет то без www) Конечно можно ограничиться и первым пунктом "User-agent: *", но лучше сделать отдельный для каждого поисковика, таких как Гугл и Яша))) |
|
#3
30 Июля 2011 14:39
Спасибо, посмотрим на результат)
|
|
#4
30 Июля 2011 15:01
Спасибо, и себе взял
 |
|
#5
31 Июля 2011 02:18
Только забыл сказать за Host: - или так надо?
|
|
#6
31 Июля 2011 19:55
Посмотри повнимательней:
я просто разместил его не в конце, его можно размещать в любом месте, робот по любому прочитает его...
Изменено:
Влад Скляр - 31 Июля 2011 20:00
|
|
#7
1 Августа 2011 00:44
Ты забыл сказать что его надо поменять на свой домен
|
|
#8
1 Августа 2011 07:05
Да тут и так все понятно. Только дурень не поменяет. |
|
#9
1 Августа 2011 09:45
Ну вы же не настолько тупой что бы не догадаться что его нужно менять на свой домен! И не забудьте добавить или убрать "www" смотря как ваш сайт проиндексировал Яша... |
|
#10
10 Августа 2011 14:07
Ну это кто как? Есть такие даже не смотрят, скопировали и все
|
|
#11
10 Августа 2011 14:33
Последнее время беда с этими поисковыми системами...
Всегда закрывала сайт от индексации User-agent: * Disallow: / # и ни одна страница в поиске не появлялась месяцами, сколько надо было. А тут, яша сожрал главную, гоша главную и разделы 
Совсем сбрендили... |
|
#12
10 Августа 2011 16:13
Скорее всего Вы не в курсе, что <met a name="robots" content="all" /> имеет приоритет над всеми запретами в robots.txt. |
||||
Похожие темы:
| 12.03.2020 17:47 | [DLE Robots] Закрыть все кроме 4-х вещей |
| 09.07.2017 09:09 | Подскажите правильный ли Robots |
| 02.04.2017 15:13 | https на DLE - правильный редирект в файле .htaccess |
| 21.11.2016 15:09 | Правильно ли составил robots.txt? |
| 21.05.2016 10:45 | Какой {title} будет правильный в названии материала? |
Читают тему (гостей: 1, пользователей: 0, из них скрытых: 0)
Апдейты
- Яндекс ИКС
23.11.2023 (602 дня назад) - Яндекс выдача
01.04.2025 (107 дней назад)
Доска объявлений
Купить / Продать
Работа / Услуги
Интересные темы
— Баннерообменная бизнес сеть. Заработок без вложений.
— Гайд: Как лить на онлайн-беттинг и гемблинг в Аргентине
— Монетизация любого типа контента на YouTube. Adsense больше не нужен!
— Ютуб - продвижение и заработок
— Новая акция 2025: Заработай* до 5 432 руб. за пару минут** просто, бесплатно и без смс. Сможет даже новичок
— Гайд: Как лить на онлайн-беттинг и гемблинг в Аргентине
— Монетизация любого типа контента на YouTube. Adsense больше не нужен!
— Ютуб - продвижение и заработок
— Новая акция 2025: Заработай* до 5 432 руб. за пару минут** просто, бесплатно и без смс. Сможет даже новичок
Интернет новости
Инструменты