Правильно ли составлен robots.txt
Страницы: 1
Правильно ли составлен robots.txt
http://classanime.ru/robots.txt
Правильно если нет как нужно?

Прогон по твиттеру, постинг в 1500 аккунтов
Постинг в твиттер аккаунты, для ускорения индексации ваших сайтов, сателлитов, дорвеев.

Вроде все норм, но Host лучше прописать сразу после User-agent. А Sitemap сразу после Host.
+ Измените у сайтмапов адрес http://classanime.3dn.ru на http://classanime.ru
Вот так:
User-agent: *
Host: classanime.ru
Sitemap: http://classanime.ru/sitemap.xml
Sitemap: http://classanime.ru/sitemap-forum.xml
Sitemap: http://classanime.ru/sitemap-shop.xml
Disallow: /a/
Disallow: /stat/
............
и т д
Изменено: prog_it - 8 Июня 2011 19:15
Правильно будет так:

User-agent: *
Disallow: /a/
Disallow: /stat/
Disallow: /index/1
Disallow: /index/2
Disallow: /index/3
Disallow: /index/5
Disallow: /index/7
Disallow: /index/8
Disallow: /index/9
Disallow: /panel/
Disallow: /admin/
Disallow: /secure/
Disallow: /informer/
Disallow: /mchat
Disallow: /search
Disallow: /go?
Sitemap: _classanime.3dn.ru/sitemap.xml
Sitemap: _classanime.3dn.ru/sitemap-forum.xml
Sitemap: _classanime.3dn.ru/sitemap-shop.xml
User-agent: Yandex
Host: classanime.ru

И не ставь пробелы!
Изменено: sanek - 8 Июня 2011 20:07
Страницы: 1
Похожие темы:
Читают тему (гостей: 1, пользователей: 0, из них скрытых: 0)
Новые темыОбъявленияСвободное общение
22:11 Объявления гугл выходят за пределы страницы. 
22:08 Google делает подляну сайту 
21:09 Невероятное открытие – Nofollow ссылки улучшают ваши позиции 
21:02 "Белый экран" при попытке установки или обновления компонентов (j3.6.2) 
20:02 Скрывать ли категории (рубрики) 
19:18 Текстовый апдейт: выложен индекс по 16 сентября 2016 
17:34 Adsense личный опыт 
20:29 Комплексный прогон сайтов, нет каталогов от shtaketo, хороший рост позиций + Тиц 30 - 100 
20:08 3 совета по Юзабилити и Конверсии / SEO аудит 
19:50 Dark Sender - новая программа для рассылки в Вконтакте 
19:15 Дизайн: сайтов, баннеров, шапок, логотипов,оформление групп вконтакте 
18:14 Куплю аккаунты Adsense 
16:36 Доходный онлайн кинотеатр с трафиком 
16:24 Продвижение в социальных сетях: Вконтакте, Одноклассники, Твиттер, Instagram, YOUTUBE, Facebook, Мой мир. 
22:24 Нужен баннер для популяризации раздела "Интересные темы" (безвозмездно) 
21:49 Есть тут те, кто вообще не умеет создавать сайты и сейчас не имеет ни одного? У кого не было первого раза? 
21:37 Халява, почти. Текст более 3 млн.сим., ~200 тИЦ, до 10 тыс.твиттер прогон (значения указаны суммарно) БЕСПЛАТНО 
21:11 Доска объявлений ищет нового хозяина 
20:11 TrustLink и SeoPult запускают увлекательную игру / "SeoМонстры" 
19:34 Бесплатно 1 000 просмотров Youtube c удержанием аудитории 70-100% 
18:27 «Угадай дату апдейта тИЦ» — получи Xneolinks + 500 рублей!