Цитата
cstrife пишет: учить русский, потом почитать рекомендации о роботсе в том же яндекс вебмастере

сыльно умный

кури пример, если читать не умеешь

User-agent: * (для всех поисковиков)
Disallow: /wp-login.php (запрет админки)
Disallow: /wp-register.php (запрет страницы регистраций)
Disallow: /webstat/ (запрет к статистике)
Disallow: /feed/ (запрет к лентам новостей)
Disallow: /trackback (запрет на индексацию трэкбэков)
Disallow: */trackback
Disallow: */feed
Disallow: */comments (запрет на индексацию страниц с коментариями)
Disallow: /*?*
Disallow: /*?
Disallow: /wp-content/plugins
Disallow: /wp-content/themes
Disallow: /wp-admin/
Disallow: /wp-includes/
Disallow: /comments

User-agent: Yandex (для яшки отдельная ветка)
Disallow: /wp-login.php
Disallow: /wp-register.php
Disallow: /webstat/
Disallow: /feed/
Disallow: /trackback
Disallow: */trackback
Disallow: */feed
Disallow: */comments
Disallow: /*?*
Disallow: /*?
Disallow: /wp-content/plugins
Disallow: /wp-content/themes
Disallow: /wp-admin/
Disallow: /wp-includes/
Disallow: /comments
Host: csrtife.ru

Sitemap: http://csrtife.ru/sitemap.xml

Цитата

Wiktor Jakuszyk пишет: Цитата cstrife пишет: кури пример, если читать не умеешь User-agent: * (для всех поисковиков) Disallow: /wp-login.php (запрет админки) Disallow: /wp-register.php (запрет страницы регистраций) Disallow: /webstat/ (запрет к статистике) Disallow: /feed/ (запрет к лентам новостей) Disallow: /trackback (запрет на индексацию трэкбэков) Disallow: */trackback Disallow: */feed Disallow: */comments (запрет на индексацию страниц с коментариями) Disallow: /*?* Disallow: /*? Disallow: /wp-content/plugins Disallow: /wp-content/themes Disallow: /wp-admin/ Disallow: /wp-includes/ Disallow: /comments User-agent: Yandex (для яшки отдельная ветка) Disallow: /wp-login.php Disallow: /wp-register.php Disallow: /webstat/ Disallow: /feed/ Disallow: /trackback Disallow: */trackback Disallow: */feed Disallow: */comments Disallow: /*?* Disallow: /*? Disallow: /wp-content/plugins Disallow: /wp-content/themes Disallow: /wp-admin/ Disallow: /wp-includes/ Disallow: /comments Host: csrtife.ru Sitemap: %5C%22csrtife.ru/sitemap.xml%5C%22]csrtife.ru/sitemap.xml ето все для вордпрес а у него сайт на укозе

Очень благодарен

что за ....слегка поспешил там где Sitemap 
должно бить      
 Sitemap: http://kino-lan.at.ua/sitemap.xml
Sitemap: http://kino-lan.at.ua/sitemap-shop.xml

Цитата
А понять что надо а что не надо может только администратор сайта

с етим согласен. он хотел скрить чат и все его сообщения 
[TABLE]

[TR][TD]kino-lan.at.ua/mchat/?780748908.171411 [ kino-lan.at.ua/mchat/?780748908.171411 ] [/TD][/TR]

[/TABLE]
Disallow: /mchat/      вот ето закроет. а ваш роботс ему не подойдет. если ошибаюсь покажите мне сайт на укозе с таким роботсом что вы дали.
[FONT=Tahoma, Arial, Helvetica, sans-serif]парень просил [/FONT]правильно складеный   robots.txt 

Цитата

Wiktor Jakuszyk пишет: Нивижу разницы с етим User-agent: * Disallow: /a/ Disallow: /stat/ Disallow: /index/1 Disallow: /index/2 Disallow: /index/3 Disallow: /index/5 Disallow: /index/7 Disallow: /index/8 Disallow: /index/9 Disallow: /panel/ Disallow: /admin/ Disallow: /secure/ Disallow: /informer/ Disallow: /mchat/ Disallow: /search/ Disallow: /Files/ Sitemap: kino-lan.at.ua/sitemap.xml Sitemap: kino-lan.at.ua/sitemap-shop.xml

Цитата
Wiktor Jakuszyk пишет: что за ....слегка поспешил там где Sitemap должно бить Sitemap: kino-lan.at.ua/sitemap.xml Sitemap: kino-lan.at.ua/sitemap-shop.xml

Цитата
Wiktor Jakuszyk пишет: слегка поспешил там где Sitemap должно бить Sitemap: kino-lan.at.ua/sitemap.xml [FONT=Tahoma, Arial, Helvetica, sans-serif]Sitemap: [/FONT]kino-lan.at.ua/sitemap-shop.xml