Правильно ли составлен robots.txt
Страницы: 1
Правильно ли составлен robots.txt
http://classanime.ru/robots.txt
Правильно если нет как нужно?

Прогон по твиттеру, постинг в 1500 аккунтов
Постинг в твиттер аккаунты, для ускорения индексации ваших сайтов, сателлитов, дорвеев.

Вроде все норм, но Host лучше прописать сразу после User-agent. А Sitemap сразу после Host.
+ Измените у сайтмапов адрес http://classanime.3dn.ru на http://classanime.ru
Вот так:
User-agent: *
Host: classanime.ru
Sitemap: http://classanime.ru/sitemap.xml
Sitemap: http://classanime.ru/sitemap-forum.xml
Sitemap: http://classanime.ru/sitemap-shop.xml
Disallow: /a/
Disallow: /stat/
............
и т д
Изменено: prog_it - 8 Июня 2011 19:15
Правильно будет так:

User-agent: *
Disallow: /a/
Disallow: /stat/
Disallow: /index/1
Disallow: /index/2
Disallow: /index/3
Disallow: /index/5
Disallow: /index/7
Disallow: /index/8
Disallow: /index/9
Disallow: /panel/
Disallow: /admin/
Disallow: /secure/
Disallow: /informer/
Disallow: /mchat
Disallow: /search
Disallow: /go?
Sitemap: _classanime.3dn.ru/sitemap.xml
Sitemap: _classanime.3dn.ru/sitemap-forum.xml
Sitemap: _classanime.3dn.ru/sitemap-shop.xml
User-agent: Yandex
Host: classanime.ru

И не ставь пробелы!
Изменено: sanek - 8 Июня 2011 20:07
Страницы: 1
Похожие темы:
Читают тему (гостей: 1, пользователей: 0, из них скрытых: 0)
Новые темыОбъявленияСвободное общение
20:57 Adsense личный опыт 
20:51 Что делать? Теряются полученные очки в Alexa 
20:20 Нужна помощь по тегам DLE 
18:33 Profitco - гемблинговая ПП! Проверенные бренды, парк-домены, выплаты каждую неделю, геолокация по ip 
18:24 Как продвигать дроп 
17:58 Апдейт 27.09.16 
17:53 Апдейт тиц яндекса 13.09.2016 
20:07 Статейное продвижение ваших сайтов 
18:49 Продам несколько своих проектов. 
18:26 Размещаю ссылки, постовые, статьи и баннеры. ТИЦ 240 и 50 
18:15 Комплексный прогон по трастовым сайтам, статейное размещение. Рост НЧ-СЧ, Тиц-пр. 
17:53 Веб-дизайн недорого! 
17:46 Продам адалт сайт "Игры для взрослых" 
17:11 Продам образовательный сайт 
20:04 Копирование названий и ссылок на видео с ютуб 
19:26 "Блогосфера" отторгается? 
18:58 Живые участники в группу 
17:53 Два бесплатных лого и один лендинг за полцены 
17:35 Халява, почти. Текст более 3 млн.сим., ~200 тИЦ, до 10 тыс.твиттер прогон (значения указаны суммарно) БЕСПЛАТНО 
16:40 Чем переводить на английский? 
16:11 Случайно перевёл Вам 5 OOO wmr