robots.txt
Страницы: 1
robots.txt
Я тут уже задавал вопрос по robots.txt, и после того я немного почитал литературы по этому поводу и сделал этот файлик:
Вот посмотрите: _http://www.bestcwalk.com/robots.txt

Подскажите что неправильно, что поправить что добавить....

Бесплатная контекстная реклама

Я такого не видел не где smile:confused:
Sitemap: http://www.bestcwalk.com/sitemap.xml
Host: bestcwalk.com
ошибка...

Sitemap: http://bestcwalk.com/sitemap.xml
Host: bestcwalk.com
правильно
А вообще бред
Вы вначале
User-agent: *
Говорите всем агентом
После еще раз каждому агенту.

Они уже читать ваше письмо небудут.
Изменено: Arte - 22 Мая 2011 12:37
Цитата
Arte пишет:
Sitemap: http://www.bestcwalk.com/sitemap.xml
Host: bestcwalk.com
ошибка...
Sitemap: http://bestcwalk.com/sitemap.xml
Host: bestcwalk.com
правильно


А чем различаются эти два варианта??? Как по мне они идентичны, где ошибка и где правильно!
Цитата
Arte пишет:
А вообще бред
Вы вначале
User-agent: *
Говорите всем агентом
После еще раз каждому агенту.
Они уже читать ваше письмо небудут.


Я читал что "User-agent: *" будут читать все мелкие поисковики....
А крупные типа гугл и яндекс будут читать только там где "User-agent: Yandex" и "User-agent: Googlebot" ...
Цитата
Влад Скляр пишет:
Цитата
Arte пишет:
Sitemap: http://www.bestc
Host: bestcwalk.com
ошибка...
Sitemap: http://bestcw
Host: bestcwalk.com
правильно

А чем различаются эти два варианта??? Как по мне они идентичны, где ошибка и где правильно!



И вообще яндекс читать небудет "Host: bestcwalk.com", Из за вашей первой строчки User-agent: *
User-agent: *

Дословно - "Всем агентам"
Цитата
Arte пишет:
И вообще яндекс читать небудет "Host: bestcwalk.com", Из за вашей первой строчки User-agent: *


В "Яндекс.Вебмастер" пишет что Яша использует robots.txt с 41 по 80 строчку, тоесть там где начинается User-agent: Yandex и по там где он заканчивается....
Цитата
Влад Скляр пишет:
Googlebot

Прошу прощения за вмешательство.Можете мне по поводу robot.txt подсказать.Составил для блога на ворд прес.Как считаете такой вариант правильный или нет?
User-agent: Yandex
Disallow: /cgi-bin
Disallow: /wp-admin
Disallow: /wp-login
Disallow: /wp-includes
Disallow: /wp-content/plugins
Disallow: /wp-content/cache
Disallow: /wp-content/themes
Disallow: /trackback
Disallow: /feed
Disallow: */trackback
Disallow: */feed
Host:mmagaz.ru

User-agent: Googlebot
Disallow: /cgi-bin
Disallow: /wp-admin
Disallow: /wp-login
Disallow: /wp-includes
Disallow: /wp-content/plugins
Disallow: /wp-content/cache
Disallow: /wp-content/themes
Disallow: /trackback
Disallow: /feed
Disallow: */trackback
Disallow: */feed
Host:mmagaz.ru

User-agent: *
Disallow: /cgi-bin
Disallow: /wp-admin
Disallow: /wp-login
Disallow: /wp-includes
Disallow: /wp-content/plugins
Disallow: /wp-content/cache
Disallow: /wp-content/themes
Disallow: /trackback
Disallow: /feed
Disallow: */trackback
Disallow: */feed

Sitemap: http://mmagaz.ru//sitemap.xml
все будет...
Цитата
Евгений Пол пишет:
Цитата
Влад Скляр пишет:
Googlebot

Прошу прощения за вмешательство.Можете мне по поводу robot.txt подсказать.Составил для блога на ворд прес.Как считаете такой вариант правильный или нет?
User-agent: Yandex
Disallow: /cgi-bin
Disallow: /wp-admin
Disallow: /wp-login
Disallow: /wp-includes
Disallow: /wp-content/plugins
Disallow: /wp-content/cache
Disallow: /wp-content/themes
Disallow: /trackback
Disallow: /feed
Disallow: */trackback
Disallow: */feed
Host:mmagaz.ru
User-agent: Googlebot
Disallow: /cgi-bin
Disallow: /wp-admin
Disallow: /wp-login
Disallow: /wp-includes
Disallow: /wp-content/plugins
Disallow: /wp-content/cache
Disallow: /wp-content/themes
Disallow: /trackback
Disallow: /feed
Disallow: */trackback
Disallow: */feed
Host:mmagaz.ru
User-agent: *
Disallow: /cgi-bin
Disallow: /wp-admin
Disallow: /wp-login
Disallow: /wp-includes
Disallow: /wp-content/plugins
Disallow: /wp-content/cache
Disallow: /wp-content/themes
Disallow: /trackback
Disallow: /feed
Disallow: */trackback
Disallow: */feed
Sitemap: http://mmagaz.ru//sitemap.xml


Я думаю тут все правильно! Но мне кажется, что User-agent: * нужно ставить первым....
Цитата
Влад Скляр пишет:
Я тут уже задавал вопрос по robots.txt, и после того я немного почитал литературы по этому поводу и сделал этот файлик:
Вот посмотрите: _http://www.bestcwalk.com/robots.txt
Подскажите что неправильно, что поправить что добавить....

Насколько помню.. в robot.txt должен быть только 1 текст - это самый верхний и не более того.
Влад Скляр, ставите строку User-agent: * вначале, эта строка относится ко всем поисковикам кроме туговатого Яндекса, для него нужно строка User-agent: Yandex ну и конечно Host: bestcwalk.com в конце.
Чтобы понятнее было. Оставьте только первые два блока которые у вас сейчас есть и поменяйте их местами, хотя не знаю будет ли разница от замены.
Not Found

The requested URL /sitemap.xml/ was not found on this server.
Родился - Надо жить!
А жизнь - стратегия, любовь, стремление.
Поставив цель - старайся победить,
Оставив жизни след другому поколению!
Цитата
Евгений Пол пишет:
Цитата
Влад Скляр пишет:
Googlebot

Прошу прощения за вмешательство.Можете мне по поводу robot.txt подсказать.Составил для блога на ворд прес.Как считаете такой вариант правильный или нет?
User-agent: Yandex
Disallow: /cgi-bin
Disallow: /wp-admin
Disallow: /wp-login
Disallow: /wp-includes
Disallow: /wp-content/plugins
Disallow: /wp-content/cache
Disallow: /wp-content/themes
Disallow: /trackback
Disallow: /feed
Disallow: */trackback
Disallow: */feed
Host:mmagaz.ru
User-agent: Googlebot
Disallow: /cgi-bin
Disallow: /wp-admin
Disallow: /wp-login
Disallow: /wp-includes
Disallow: /wp-content/plugins
Disallow: /wp-content/cache
Disallow: /wp-content/themes
Disallow: /trackback
Disallow: /feed
Disallow: */trackback
Disallow: */feed
Host:mmagaz.ru
User-agent: *
Disallow: /cgi-bin
Disallow: /wp-admin
Disallow: /wp-login
Disallow: /wp-includes
Disallow: /wp-content/plugins
Disallow: /wp-content/cache
Disallow: /wp-content/themes
Disallow: /trackback
Disallow: /feed
Disallow: */trackback
Disallow: */feed
Sitemap: http://mmagaz.ru/sitemap.xml



Чисто на вскидку так:

Код
User-agent: * 
Disallow: /cgi-bin 
Disallow: /wp-*
Disallow: /comments
Disallow: /trackback 
Disallow: /feed 
Disallow: */trackback
Disallow: */comments 
Disallow: */feed 
Disallow: /*?*
Allow: /wp-content/uploads/
Sitemap:  http://mmagaz.ru/sitemap.xml
Host: mmagaz.ru 


Если в сиджиаях ничего нет, то можно эту строку выпилить.
Изменено: Shiva - 9 Июня 2011 04:42
Страницы: 1
Похожие темы:
Читают тему (гостей: 1, пользователей: 0, из них скрытых: 0)
Новые темыОбъявленияСвободное общение
04:37 10 самых влиятельных факторов ранжирования 
03:22 Средняя цена клика в google adsense? Способы повышения цены клика. 
03:14 Как раскрутить канал на YouTube 
02:48 Смена адреса админ панели WordPress 
00:59 Все внешние ссылки с сайта 
00:14 Закрывать или индексировать категории? 
23:28 Апдейт Яндекса 09.12.2016 
02:39 Крупные новостные (СМИ) площадки, Яндекс Новости, Google News, анонсы, хорошая посещаемость. 
02:35 Продам хороший, доходный сайт с ТИЦ 40 
00:03 Прогон сайта хрумером по профилям, свежие базы ТИЦ 10 и более! Недорого! 
22:26 Вакансии: Операторы и редакторы по обработке статей из вебархива 
20:54 Стоимость сайта 
19:23 Услуги по созданию логотипов, баннеров, визиток. Возможны другие предложения работы с графикой. 
18:01 Рерайт 30 р за 1000 символов без пробелов 
00:08 Книга "Просветление за полчаса" 
23:31 1000+ уников в сутки на странице ВКонтакте за 2 недели - мануал 
23:26 Новых страниц нет, а переходы есть 
23:13 Нужно ли закрывать рекламные блоки? 
22:35 Про счетчики 
19:51 Не открывается teasernet.com 
19:35 Сколково Телеком (Skt.ru) партнерская программа 50% на хостинг