robots.txt
Страницы: 1
robots.txt
Я тут уже задавал вопрос по robots.txt, и после того я немного почитал литературы по этому поводу и сделал этот файлик:
Вот посмотрите: _http://www.bestcwalk.com/robots.txt

Подскажите что неправильно, что поправить что добавить....

Бесплатная контекстная реклама

Я такого не видел не где smile:confused:
Sitemap: http://www.bestcwalk.com/sitemap.xml
Host: bestcwalk.com
ошибка...

Sitemap: http://bestcwalk.com/sitemap.xml
Host: bestcwalk.com
правильно
А вообще бред
Вы вначале
User-agent: *
Говорите всем агентом
После еще раз каждому агенту.

Они уже читать ваше письмо небудут.
Изменено: Arte - 22 Мая 2011 12:37
Цитата
Arte пишет:
Sitemap: http://www.bestcwalk.com/sitemap.xml
Host: bestcwalk.com
ошибка...
Sitemap: http://bestcwalk.com/sitemap.xml
Host: bestcwalk.com
правильно


А чем различаются эти два варианта??? Как по мне они идентичны, где ошибка и где правильно!
Цитата
Arte пишет:
А вообще бред
Вы вначале
User-agent: *
Говорите всем агентом
После еще раз каждому агенту.
Они уже читать ваше письмо небудут.


Я читал что "User-agent: *" будут читать все мелкие поисковики....
А крупные типа гугл и яндекс будут читать только там где "User-agent: Yandex" и "User-agent: Googlebot" ...
Цитата
Влад Скляр пишет:
Цитата
Arte пишет:
Sitemap: http://www.bestc
Host: bestcwalk.com
ошибка...
Sitemap: http://bestcw
Host: bestcwalk.com
правильно

А чем различаются эти два варианта??? Как по мне они идентичны, где ошибка и где правильно!



И вообще яндекс читать небудет "Host: bestcwalk.com", Из за вашей первой строчки User-agent: *
User-agent: *

Дословно - "Всем агентам"
Цитата
Arte пишет:
И вообще яндекс читать небудет "Host: bestcwalk.com", Из за вашей первой строчки User-agent: *


В "Яндекс.Вебмастер" пишет что Яша использует robots.txt с 41 по 80 строчку, тоесть там где начинается User-agent: Yandex и по там где он заканчивается....
Цитата
Влад Скляр пишет:
Googlebot

Прошу прощения за вмешательство.Можете мне по поводу robot.txt подсказать.Составил для блога на ворд прес.Как считаете такой вариант правильный или нет?
User-agent: Yandex
Disallow: /cgi-bin
Disallow: /wp-admin
Disallow: /wp-login
Disallow: /wp-includes
Disallow: /wp-content/plugins
Disallow: /wp-content/cache
Disallow: /wp-content/themes
Disallow: /trackback
Disallow: /feed
Disallow: */trackback
Disallow: */feed
Host:mmagaz.ru

User-agent: Googlebot
Disallow: /cgi-bin
Disallow: /wp-admin
Disallow: /wp-login
Disallow: /wp-includes
Disallow: /wp-content/plugins
Disallow: /wp-content/cache
Disallow: /wp-content/themes
Disallow: /trackback
Disallow: /feed
Disallow: */trackback
Disallow: */feed
Host:mmagaz.ru

User-agent: *
Disallow: /cgi-bin
Disallow: /wp-admin
Disallow: /wp-login
Disallow: /wp-includes
Disallow: /wp-content/plugins
Disallow: /wp-content/cache
Disallow: /wp-content/themes
Disallow: /trackback
Disallow: /feed
Disallow: */trackback
Disallow: */feed

Sitemap: http://mmagaz.ru//sitemap.xml
все будет...
Цитата
Евгений Пол пишет:
Цитата
Влад Скляр пишет:
Googlebot

Прошу прощения за вмешательство.Можете мне по поводу robot.txt подсказать.Составил для блога на ворд прес.Как считаете такой вариант правильный или нет?
User-agent: Yandex
Disallow: /cgi-bin
Disallow: /wp-admin
Disallow: /wp-login
Disallow: /wp-includes
Disallow: /wp-content/plugins
Disallow: /wp-content/cache
Disallow: /wp-content/themes
Disallow: /trackback
Disallow: /feed
Disallow: */trackback
Disallow: */feed
Host:mmagaz.ru
User-agent: Googlebot
Disallow: /cgi-bin
Disallow: /wp-admin
Disallow: /wp-login
Disallow: /wp-includes
Disallow: /wp-content/plugins
Disallow: /wp-content/cache
Disallow: /wp-content/themes
Disallow: /trackback
Disallow: /feed
Disallow: */trackback
Disallow: */feed
Host:mmagaz.ru
User-agent: *
Disallow: /cgi-bin
Disallow: /wp-admin
Disallow: /wp-login
Disallow: /wp-includes
Disallow: /wp-content/plugins
Disallow: /wp-content/cache
Disallow: /wp-content/themes
Disallow: /trackback
Disallow: /feed
Disallow: */trackback
Disallow: */feed
Sitemap: http://mmagaz.ru//sitemap.xml


Я думаю тут все правильно! Но мне кажется, что User-agent: * нужно ставить первым....
Цитата
Влад Скляр пишет:
Я тут уже задавал вопрос по robots.txt, и после того я немного почитал литературы по этому поводу и сделал этот файлик:
Вот посмотрите: _http://www.bestcwalk.com/robots.txt
Подскажите что неправильно, что поправить что добавить....

Насколько помню.. в robot.txt должен быть только 1 текст - это самый верхний и не более того.
Влад Скляр, ставите строку User-agent: * вначале, эта строка относится ко всем поисковикам кроме туговатого Яндекса, для него нужно строка User-agent: Yandex ну и конечно Host: bestcwalk.com в конце.
Чтобы понятнее было. Оставьте только первые два блока которые у вас сейчас есть и поменяйте их местами, хотя не знаю будет ли разница от замены.
Not Found

The requested URL /sitemap.xml/ was not found on this server.
Родился - Надо жить!
А жизнь - стратегия, любовь, стремление.
Поставив цель - старайся победить,
Оставив жизни след другому поколению!
Цитата
Евгений Пол пишет:
Цитата
Влад Скляр пишет:
Googlebot

Прошу прощения за вмешательство.Можете мне по поводу robot.txt подсказать.Составил для блога на ворд прес.Как считаете такой вариант правильный или нет?
User-agent: Yandex
Disallow: /cgi-bin
Disallow: /wp-admin
Disallow: /wp-login
Disallow: /wp-includes
Disallow: /wp-content/plugins
Disallow: /wp-content/cache
Disallow: /wp-content/themes
Disallow: /trackback
Disallow: /feed
Disallow: */trackback
Disallow: */feed
Host:mmagaz.ru
User-agent: Googlebot
Disallow: /cgi-bin
Disallow: /wp-admin
Disallow: /wp-login
Disallow: /wp-includes
Disallow: /wp-content/plugins
Disallow: /wp-content/cache
Disallow: /wp-content/themes
Disallow: /trackback
Disallow: /feed
Disallow: */trackback
Disallow: */feed
Host:mmagaz.ru
User-agent: *
Disallow: /cgi-bin
Disallow: /wp-admin
Disallow: /wp-login
Disallow: /wp-includes
Disallow: /wp-content/plugins
Disallow: /wp-content/cache
Disallow: /wp-content/themes
Disallow: /trackback
Disallow: /feed
Disallow: */trackback
Disallow: */feed
Sitemap: http://mmagaz.ru/sitemap.xml



Чисто на вскидку так:

Код
User-agent: * 
Disallow: /cgi-bin 
Disallow: /wp-*
Disallow: /comments
Disallow: /trackback 
Disallow: /feed 
Disallow: */trackback
Disallow: */comments 
Disallow: */feed 
Disallow: /*?*
Allow: /wp-content/uploads/
Sitemap:  http://mmagaz.ru/sitemap.xml
Host: mmagaz.ru 


Если в сиджиаях ничего нет, то можно эту строку выпилить.
Изменено: Shiva - 9 Июня 2011 04:42
Страницы: 1
Похожие темы:
Читают тему (гостей: 1, пользователей: 0, из них скрытых: 0)
Новые темыОбъявленияСвободное общение
16:22 Виляет ли реклама от adsense на развитие сайта? 
16:05 Блог для интернет магазина 
15:59 Более 100 уникальных статей а трафика почти нет. 
15:57 Служба поддержки Гугл 
15:47 Яндекс тИЦ 03.12.2016 
15:39 Adsense личный опыт 
14:00 Апдейт Яндекса 04.12.2016 
15:14 200 открытых анкорных ссылок всего за 100 рублей 
14:55 Продам ссылки для новостных сайтов 
14:23 Продам домены РУС 
12:43 Создание сайтов под различные ПП - от 7$ + Отзывы, Гарантии. 
11:53 Вакансии: Операторы и редакторы по обработке статей из вебархива 
11:49 разработка мобильных приложений 
11:46 Срочно продам два готовых форума о соц сетях и заработке! 
15:31 Роскомнадзор отвел Google три месяца 
15:25 Книга "Просветление за полчаса" 
14:20 Мультиязычность сайта - хорошо или плохо? 
13:26 Кто-нибудь работал с directadvert.ru??? 
13:12 Кто переведет текст с рус на енг 
12:31 Непонятки с адсенс 
12:15 Гугл не хочет индексировать