Правильно ли составлен robots.txt
Страницы: 1
Правильно ли составлен robots.txt
http://classanime.ru/robots.txt
Правильно если нет как нужно?

Прогон по твиттеру, постинг в 1500 аккунтов
Постинг в твиттер аккаунты, для ускорения индексации ваших сайтов, сателлитов, дорвеев.

Вроде все норм, но Host лучше прописать сразу после User-agent. А Sitemap сразу после Host.
+ Измените у сайтмапов адрес http://classanime.3dn.ru на http://classanime.ru
Вот так:
User-agent: *
Host: classanime.ru
Sitemap: http://classanime.ru/sitemap.xml
Sitemap: http://classanime.ru/sitemap-forum.xml
Sitemap: http://classanime.ru/sitemap-shop.xml
Disallow: /a/
Disallow: /stat/
............
и т д
Изменено: prog_it - 8 Июня 2011 19:15
Правильно будет так:

User-agent: *
Disallow: /a/
Disallow: /stat/
Disallow: /index/1
Disallow: /index/2
Disallow: /index/3
Disallow: /index/5
Disallow: /index/7
Disallow: /index/8
Disallow: /index/9
Disallow: /panel/
Disallow: /admin/
Disallow: /secure/
Disallow: /informer/
Disallow: /mchat
Disallow: /search
Disallow: /go?
Sitemap: _classanime.3dn.ru/sitemap.xml
Sitemap: _classanime.3dn.ru/sitemap-forum.xml
Sitemap: _classanime.3dn.ru/sitemap-shop.xml
User-agent: Yandex
Host: classanime.ru

И не ставь пробелы!
Изменено: sanek - 8 Июня 2011 20:07
Страницы: 1
Похожие темы:
Читают тему (гостей: 1, пользователей: 0, из них скрытых: 0)
Новые темыОбъявленияСвободное общение
10:35 Нужен совет как по максимуму выжать с сайтов тиц 90-200 
10:34 Выкуп с морд 
09:24 Апдейт Яндекса 07.12.2016 
09:21 Защита сайта на Wordpress 
06:35 Яндекс тИЦ 03.12.2016 
03:04 Сколько нужно вложить? 
02:49 страница каталог фото 
09:29 3 совета по Юзабилити и Конверсии / SEO аудит 
02:16 Продам сайт на ucoz 
02:14 Сколько дадите за мой форум 
00:22 Вакансии: Операторы и редакторы по обработке статей из вебархива 
23:55 Оцените сайт, стоимость 
23:48 Продам домены РУС 
22:54 Куплю аккаунт Google Adsense 
09:57 Подскажите cms или какой-то скрипт простой доски объявлений 
09:54 Рандом для конкурсов «Вконтакте» 
09:16 Профессиональная настройка кампании в Яндекс Директ | Web-context.biz 
03:19 Подарили +10 к тИЦ 
01:19 По понедельникам одна бесплатная статья до 3 000 символов за отзыв 
23:31 Палю тему! Как правильно и быстро продвинуть сайт ТОП в Яндексе! 
18:16 Forbes назвал самых высокооплачиваемых видеоблогеров