Правильно ли составлен robots.txt
Страницы: 1
Правильно ли составлен robots.txt
http://classanime.ru/robots.txt
Правильно если нет как нужно?

Прогон по твиттеру, постинг в 1500 аккунтов
Постинг в твиттер аккаунты, для ускорения индексации ваших сайтов, сателлитов, дорвеев.

Вроде все норм, но Host лучше прописать сразу после User-agent. А Sitemap сразу после Host.
+ Измените у сайтмапов адрес http://classanime.3dn.ru на http://classanime.ru
Вот так:
User-agent: *
Host: classanime.ru
Sitemap: http://classanime.ru/sitemap.xml
Sitemap: http://classanime.ru/sitemap-forum.xml
Sitemap: http://classanime.ru/sitemap-shop.xml
Disallow: /a/
Disallow: /stat/
............
и т д
Изменено: prog_it - 8 Июня 2011 19:15
Правильно будет так:

User-agent: *
Disallow: /a/
Disallow: /stat/
Disallow: /index/1
Disallow: /index/2
Disallow: /index/3
Disallow: /index/5
Disallow: /index/7
Disallow: /index/8
Disallow: /index/9
Disallow: /panel/
Disallow: /admin/
Disallow: /secure/
Disallow: /informer/
Disallow: /mchat
Disallow: /search
Disallow: /go?
Sitemap: _classanime.3dn.ru/sitemap.xml
Sitemap: _classanime.3dn.ru/sitemap-forum.xml
Sitemap: _classanime.3dn.ru/sitemap-shop.xml
User-agent: Yandex
Host: classanime.ru

И не ставь пробелы!
Изменено: sanek - 8 Июня 2011 20:07
Страницы: 1
Похожие темы:
Читают тему (гостей: 1, пользователей: 0, из них скрытых: 0)
Новые темыОбъявленияСвободное общение
20:24 Позиция в поисковой выдаче 
20:21 Сайт упал в позициях яндекса 
19:38 Adsense личный опыт 
18:49 Рекламная сеть яндекса личный опыт 
18:44 Нужен совет более опытных вебмастеров, по продвижению сайта кино тематики! 
17:40 Время ответа сервера 1400+ 
17:31 TradeLeads - партнерка в секторе e-commerce, games и инфо-товарах 
20:41 Качественный прогон по профилям взятых из Яндекс Вебмастера! 
20:22 Я новичек помогие оцените мой сайт 
20:04 Услуга по поднятию Тиц сайтов. Оплата единоразовая! 
19:44 Дизайн баннеров 
15:55 Статейное продвижение ваших сайтов 
15:54 Качественный прогон по трастовым сайтам и форумам. Рост ТИЦ, посещаемости и позиций. Множество отзывов, недорого + скидки 
15:45 Услуги по рассылки спама Вконтакте 
18:49 Марафон по созданию сайтов - обсуждение и вопросы 
18:47 Почему нет новых вебмастеров? И почему обленились старые 
16:39 2domains совсем обнаглели. Куда свалить? 
16:31 Реф. ссылку надо обязательно обойти и зарегистрироваться по прямой! 
14:37 Госзакупки - продления домена за 100 т.р. 
14:13 CPA Life 2017 – 12 Апреля в Санкт-Петербурге 
11:39 Система рейтинга и отзывов на ВП движок