Правильно ли составлен robots.txt
Страницы: 1
Правильно ли составлен robots.txt
http://classanime.ru/robots.txt
Правильно если нет как нужно?

Прогон по твиттеру, постинг в 1500 аккунтов
Постинг в твиттер аккаунты, для ускорения индексации ваших сайтов, сателлитов, дорвеев.

Вроде все норм, но Host лучше прописать сразу после User-agent. А Sitemap сразу после Host.
+ Измените у сайтмапов адрес http://classanime.3dn.ru на http://classanime.ru
Вот так:
User-agent: *
Host: classanime.ru
Sitemap: http://classanime.ru/sitemap.xml
Sitemap: http://classanime.ru/sitemap-forum.xml
Sitemap: http://classanime.ru/sitemap-shop.xml
Disallow: /a/
Disallow: /stat/
............
и т д
Изменено: prog_it - 8 Июня 2011 19:15
Правильно будет так:

User-agent: *
Disallow: /a/
Disallow: /stat/
Disallow: /index/1
Disallow: /index/2
Disallow: /index/3
Disallow: /index/5
Disallow: /index/7
Disallow: /index/8
Disallow: /index/9
Disallow: /panel/
Disallow: /admin/
Disallow: /secure/
Disallow: /informer/
Disallow: /mchat
Disallow: /search
Disallow: /go?
Sitemap: _classanime.3dn.ru/sitemap.xml
Sitemap: _classanime.3dn.ru/sitemap-forum.xml
Sitemap: _classanime.3dn.ru/sitemap-shop.xml
User-agent: Yandex
Host: classanime.ru

И не ставь пробелы!
Изменено: sanek - 8 Июня 2011 20:07
Страницы: 1
Похожие темы:
Читают тему (гостей: 1, пользователей: 0, из них скрытых: 0)
Новые темыОбъявленияСвободное общение
12:49 Tizerlady.ru - максимальный заработок для сайтов с женской аудиторией! 
12:30 Как выключить пару страниц из протокола https 
12:26 Рекламная сеть яндекса личный опыт 
11:56 Внезапный бан от Яндекса. 
11:28 АП 25 мая 
10:46 Заказ вечной ссылки на старой статье 
10:09 Несколько страниц или изменять одну? 
12:29 Продажа сайта, скачать игры на ПК. Загрузочный трафик. 
12:08 Прогон по twitter-аккаунтам 
12:07 Changemoney.me - Автоматический Сервис Обмена №1 (Webmoney, ЯД, Qiwi, Банки, Переводы, Наличные) 
10:40 Индивидуальная Web Графика для вас. Макеты, логотипы, баннеры, иконки 
09:57 Сайт CS GO Тематики 
08:00 Продам 2 сайта азартной тематики. 
23:20 InstaSpider - инстаграм программа шпион для мониторинга новых подписчиков пользователей 
12:41 Почему у меня нет карты Сбербанка 
12:32 Бесплатный хостинг. 
12:25 Навеянные форумом картинки 
11:49 Сломал компьютер 
11:05 404 страница с 301 редиректом 
10:12 Выкладываем материалы купленные на Складчике. 
09:27 Где мои деньги?!