robots.txt
Страницы: 1
robots.txt
Я тут уже задавал вопрос по robots.txt, и после того я немного почитал литературы по этому поводу и сделал этот файлик:
Вот посмотрите: _http://www.bestcwalk.com/robots.txt

Подскажите что неправильно, что поправить что добавить....

Бесплатная контекстная реклама

Я такого не видел не где smile:confused:
Sitemap: http://www.bestcwalk.com/sitemap.xml
Host: bestcwalk.com
ошибка...

Sitemap: http://bestcwalk.com/sitemap.xml
Host: bestcwalk.com
правильно
А вообще бред
Вы вначале
User-agent: *
Говорите всем агентом
После еще раз каждому агенту.

Они уже читать ваше письмо небудут.
Изменено: Arte - 22 Мая 2011 12:37
Цитата
Arte пишет:
Sitemap: http://www.bestcwalk.com/sitemap.xml
Host: bestcwalk.com
ошибка...
Sitemap: http://bestcwalk.com/sitemap.xml
Host: bestcwalk.com
правильно


А чем различаются эти два варианта??? Как по мне они идентичны, где ошибка и где правильно!
Цитата
Arte пишет:
А вообще бред
Вы вначале
User-agent: *
Говорите всем агентом
После еще раз каждому агенту.
Они уже читать ваше письмо небудут.


Я читал что "User-agent: *" будут читать все мелкие поисковики....
А крупные типа гугл и яндекс будут читать только там где "User-agent: Yandex" и "User-agent: Googlebot" ...
Цитата
Влад Скляр пишет:
Цитата
Arte пишет:
Sitemap: http://www.bestc
Host: bestcwalk.com
ошибка...
Sitemap: http://bestcw
Host: bestcwalk.com
правильно

А чем различаются эти два варианта??? Как по мне они идентичны, где ошибка и где правильно!



И вообще яндекс читать небудет "Host: bestcwalk.com", Из за вашей первой строчки User-agent: *
User-agent: *

Дословно - "Всем агентам"
Цитата
Arte пишет:
И вообще яндекс читать небудет "Host: bestcwalk.com", Из за вашей первой строчки User-agent: *


В "Яндекс.Вебмастер" пишет что Яша использует robots.txt с 41 по 80 строчку, тоесть там где начинается User-agent: Yandex и по там где он заканчивается....
Цитата
Влад Скляр пишет:
Googlebot

Прошу прощения за вмешательство.Можете мне по поводу robot.txt подсказать.Составил для блога на ворд прес.Как считаете такой вариант правильный или нет?
User-agent: Yandex
Disallow: /cgi-bin
Disallow: /wp-admin
Disallow: /wp-login
Disallow: /wp-includes
Disallow: /wp-content/plugins
Disallow: /wp-content/cache
Disallow: /wp-content/themes
Disallow: /trackback
Disallow: /feed
Disallow: */trackback
Disallow: */feed
Host:mmagaz.ru

User-agent: Googlebot
Disallow: /cgi-bin
Disallow: /wp-admin
Disallow: /wp-login
Disallow: /wp-includes
Disallow: /wp-content/plugins
Disallow: /wp-content/cache
Disallow: /wp-content/themes
Disallow: /trackback
Disallow: /feed
Disallow: */trackback
Disallow: */feed
Host:mmagaz.ru

User-agent: *
Disallow: /cgi-bin
Disallow: /wp-admin
Disallow: /wp-login
Disallow: /wp-includes
Disallow: /wp-content/plugins
Disallow: /wp-content/cache
Disallow: /wp-content/themes
Disallow: /trackback
Disallow: /feed
Disallow: */trackback
Disallow: */feed

Sitemap: http://mmagaz.ru//sitemap.xml
все будет...
Цитата
Евгений Пол пишет:
Цитата
Влад Скляр пишет:
Googlebot

Прошу прощения за вмешательство.Можете мне по поводу robot.txt подсказать.Составил для блога на ворд прес.Как считаете такой вариант правильный или нет?
User-agent: Yandex
Disallow: /cgi-bin
Disallow: /wp-admin
Disallow: /wp-login
Disallow: /wp-includes
Disallow: /wp-content/plugins
Disallow: /wp-content/cache
Disallow: /wp-content/themes
Disallow: /trackback
Disallow: /feed
Disallow: */trackback
Disallow: */feed
Host:mmagaz.ru
User-agent: Googlebot
Disallow: /cgi-bin
Disallow: /wp-admin
Disallow: /wp-login
Disallow: /wp-includes
Disallow: /wp-content/plugins
Disallow: /wp-content/cache
Disallow: /wp-content/themes
Disallow: /trackback
Disallow: /feed
Disallow: */trackback
Disallow: */feed
Host:mmagaz.ru
User-agent: *
Disallow: /cgi-bin
Disallow: /wp-admin
Disallow: /wp-login
Disallow: /wp-includes
Disallow: /wp-content/plugins
Disallow: /wp-content/cache
Disallow: /wp-content/themes
Disallow: /trackback
Disallow: /feed
Disallow: */trackback
Disallow: */feed
Sitemap: http://mmagaz.ru//sitemap.xml


Я думаю тут все правильно! Но мне кажется, что User-agent: * нужно ставить первым....
Цитата
Влад Скляр пишет:
Я тут уже задавал вопрос по robots.txt, и после того я немного почитал литературы по этому поводу и сделал этот файлик:
Вот посмотрите: _http://www.bestcwalk.com/robots.txt
Подскажите что неправильно, что поправить что добавить....

Насколько помню.. в robot.txt должен быть только 1 текст - это самый верхний и не более того.
Влад Скляр, ставите строку User-agent: * вначале, эта строка относится ко всем поисковикам кроме туговатого Яндекса, для него нужно строка User-agent: Yandex ну и конечно Host: bestcwalk.com в конце.
Чтобы понятнее было. Оставьте только первые два блока которые у вас сейчас есть и поменяйте их местами, хотя не знаю будет ли разница от замены.
Not Found

The requested URL /sitemap.xml/ was not found on this server.
Родился - Надо жить!
А жизнь - стратегия, любовь, стремление.
Поставив цель - старайся победить,
Оставив жизни след другому поколению!
Цитата
Евгений Пол пишет:
Цитата
Влад Скляр пишет:
Googlebot

Прошу прощения за вмешательство.Можете мне по поводу robot.txt подсказать.Составил для блога на ворд прес.Как считаете такой вариант правильный или нет?
User-agent: Yandex
Disallow: /cgi-bin
Disallow: /wp-admin
Disallow: /wp-login
Disallow: /wp-includes
Disallow: /wp-content/plugins
Disallow: /wp-content/cache
Disallow: /wp-content/themes
Disallow: /trackback
Disallow: /feed
Disallow: */trackback
Disallow: */feed
Host:mmagaz.ru
User-agent: Googlebot
Disallow: /cgi-bin
Disallow: /wp-admin
Disallow: /wp-login
Disallow: /wp-includes
Disallow: /wp-content/plugins
Disallow: /wp-content/cache
Disallow: /wp-content/themes
Disallow: /trackback
Disallow: /feed
Disallow: */trackback
Disallow: */feed
Host:mmagaz.ru
User-agent: *
Disallow: /cgi-bin
Disallow: /wp-admin
Disallow: /wp-login
Disallow: /wp-includes
Disallow: /wp-content/plugins
Disallow: /wp-content/cache
Disallow: /wp-content/themes
Disallow: /trackback
Disallow: /feed
Disallow: */trackback
Disallow: */feed
Sitemap: http://mmagaz.ru/sitemap.xml



Чисто на вскидку так:

Код
User-agent: * 
Disallow: /cgi-bin 
Disallow: /wp-*
Disallow: /comments
Disallow: /trackback 
Disallow: /feed 
Disallow: */trackback
Disallow: */comments 
Disallow: */feed 
Disallow: /*?*
Allow: /wp-content/uploads/
Sitemap:  http://mmagaz.ru/sitemap.xml
Host: mmagaz.ru 


Если в сиджиаях ничего нет, то можно эту строку выпилить.
Изменено: Shiva - 9 Июня 2011 04:42
Страницы: 1
Похожие темы:
Читают тему (гостей: 1, пользователей: 0, из них скрытых: 0)
Новые темыОбъявленияСвободное общение
04:45 Рекламная сеть яндекса личный опыт 
04:42 Как влияют исходящие ссылки с сайта на сторонние ресурсы? 
02:49 Яндекс тИЦ 16.02.2017 
01:14 Что любит гугл в 2017 году? 
21:26 Помощь по увеличению количества посетителей 
20:50 Апдейт 19 февраля 2017 года 
20:50 Подключение к AdSense 
03:52 Одно видео вместо 1000 слов. Продающие видеоролики на заказ >> 
03:29 Бесплатный SEO-Аудит. Получи 3 полных отчета по сайту! 
03:03 Статейный прогон 
22:17 Дизайн баннеров 
21:58 Делаю рерайт 
21:03 Размещение статей, ссылок и постовых на качественных ресурсах 
20:38 РегОК RU - Регер RU аккаунтов "ОдноКлассники" 
01:24 Ваш пост/реклама вконтакте 
01:09 Роскомнадзор поинтересовался посещаемостью Google News и "Яндекс.Новостей" 
00:49 Где можно разместить ссылку на группу 
00:41 Отмена приглашений вконтакте группа (скрипт) 
00:29 Один сайт и 3 офиса, работающих за % 
00:27 Бесплатная база трастовых сайтов, для профильного прогона!, 100 сайтов, ТИЦ от 50 и до 1100 
00:23 Ребят помогите настроить title убрать лишнее