robots.txt
Страницы: 1
robots.txt
Я тут уже задавал вопрос по robots.txt, и после того я немного почитал литературы по этому поводу и сделал этот файлик:
Вот посмотрите: _http://www.bestcwalk.com/robots.txt

Подскажите что неправильно, что поправить что добавить....

Бесплатная контекстная реклама

Я такого не видел не где smile:confused:
Sitemap: http://www.bestcwalk.com/sitemap.xml
Host: bestcwalk.com
ошибка...

Sitemap: http://bestcwalk.com/sitemap.xml
Host: bestcwalk.com
правильно
А вообще бред
Вы вначале
User-agent: *
Говорите всем агентом
После еще раз каждому агенту.

Они уже читать ваше письмо небудут.
Изменено: Arte - 22 Мая 2011 12:37
Цитата
Arte пишет:
Sitemap: http://www.bestcwalk.com/sitemap.xml
Host: bestcwalk.com
ошибка...
Sitemap: http://bestcwalk.com/sitemap.xml
Host: bestcwalk.com
правильно


А чем различаются эти два варианта??? Как по мне они идентичны, где ошибка и где правильно!
Цитата
Arte пишет:
А вообще бред
Вы вначале
User-agent: *
Говорите всем агентом
После еще раз каждому агенту.
Они уже читать ваше письмо небудут.


Я читал что "User-agent: *" будут читать все мелкие поисковики....
А крупные типа гугл и яндекс будут читать только там где "User-agent: Yandex" и "User-agent: Googlebot" ...
Цитата
Влад Скляр пишет:
Цитата
Arte пишет:
Sitemap: http://www.bestc
Host: bestcwalk.com
ошибка...
Sitemap: http://bestcw
Host: bestcwalk.com
правильно

А чем различаются эти два варианта??? Как по мне они идентичны, где ошибка и где правильно!



И вообще яндекс читать небудет "Host: bestcwalk.com", Из за вашей первой строчки User-agent: *
User-agent: *

Дословно - "Всем агентам"
Цитата
Arte пишет:
И вообще яндекс читать небудет "Host: bestcwalk.com", Из за вашей первой строчки User-agent: *


В "Яндекс.Вебмастер" пишет что Яша использует robots.txt с 41 по 80 строчку, тоесть там где начинается User-agent: Yandex и по там где он заканчивается....
Цитата
Влад Скляр пишет:
Googlebot

Прошу прощения за вмешательство.Можете мне по поводу robot.txt подсказать.Составил для блога на ворд прес.Как считаете такой вариант правильный или нет?
User-agent: Yandex
Disallow: /cgi-bin
Disallow: /wp-admin
Disallow: /wp-login
Disallow: /wp-includes
Disallow: /wp-content/plugins
Disallow: /wp-content/cache
Disallow: /wp-content/themes
Disallow: /trackback
Disallow: /feed
Disallow: */trackback
Disallow: */feed
Host:mmagaz.ru

User-agent: Googlebot
Disallow: /cgi-bin
Disallow: /wp-admin
Disallow: /wp-login
Disallow: /wp-includes
Disallow: /wp-content/plugins
Disallow: /wp-content/cache
Disallow: /wp-content/themes
Disallow: /trackback
Disallow: /feed
Disallow: */trackback
Disallow: */feed
Host:mmagaz.ru

User-agent: *
Disallow: /cgi-bin
Disallow: /wp-admin
Disallow: /wp-login
Disallow: /wp-includes
Disallow: /wp-content/plugins
Disallow: /wp-content/cache
Disallow: /wp-content/themes
Disallow: /trackback
Disallow: /feed
Disallow: */trackback
Disallow: */feed

Sitemap: http://mmagaz.ru//sitemap.xml
все будет...
Цитата
Евгений Пол пишет:
Цитата
Влад Скляр пишет:
Googlebot

Прошу прощения за вмешательство.Можете мне по поводу robot.txt подсказать.Составил для блога на ворд прес.Как считаете такой вариант правильный или нет?
User-agent: Yandex
Disallow: /cgi-bin
Disallow: /wp-admin
Disallow: /wp-login
Disallow: /wp-includes
Disallow: /wp-content/plugins
Disallow: /wp-content/cache
Disallow: /wp-content/themes
Disallow: /trackback
Disallow: /feed
Disallow: */trackback
Disallow: */feed
Host:mmagaz.ru
User-agent: Googlebot
Disallow: /cgi-bin
Disallow: /wp-admin
Disallow: /wp-login
Disallow: /wp-includes
Disallow: /wp-content/plugins
Disallow: /wp-content/cache
Disallow: /wp-content/themes
Disallow: /trackback
Disallow: /feed
Disallow: */trackback
Disallow: */feed
Host:mmagaz.ru
User-agent: *
Disallow: /cgi-bin
Disallow: /wp-admin
Disallow: /wp-login
Disallow: /wp-includes
Disallow: /wp-content/plugins
Disallow: /wp-content/cache
Disallow: /wp-content/themes
Disallow: /trackback
Disallow: /feed
Disallow: */trackback
Disallow: */feed
Sitemap: http://mmagaz.ru//sitemap.xml


Я думаю тут все правильно! Но мне кажется, что User-agent: * нужно ставить первым....
Цитата
Влад Скляр пишет:
Я тут уже задавал вопрос по robots.txt, и после того я немного почитал литературы по этому поводу и сделал этот файлик:
Вот посмотрите: _http://www.bestcwalk.com/robots.txt
Подскажите что неправильно, что поправить что добавить....

Насколько помню.. в robot.txt должен быть только 1 текст - это самый верхний и не более того.
Влад Скляр, ставите строку User-agent: * вначале, эта строка относится ко всем поисковикам кроме туговатого Яндекса, для него нужно строка User-agent: Yandex ну и конечно Host: bestcwalk.com в конце.
Чтобы понятнее было. Оставьте только первые два блока которые у вас сейчас есть и поменяйте их местами, хотя не знаю будет ли разница от замены.
Not Found

The requested URL /sitemap.xml/ was not found on this server.
Родился - Надо жить!
А жизнь - стратегия, любовь, стремление.
Поставив цель - старайся победить,
Оставив жизни след другому поколению!
Цитата
Евгений Пол пишет:
Цитата
Влад Скляр пишет:
Googlebot

Прошу прощения за вмешательство.Можете мне по поводу robot.txt подсказать.Составил для блога на ворд прес.Как считаете такой вариант правильный или нет?
User-agent: Yandex
Disallow: /cgi-bin
Disallow: /wp-admin
Disallow: /wp-login
Disallow: /wp-includes
Disallow: /wp-content/plugins
Disallow: /wp-content/cache
Disallow: /wp-content/themes
Disallow: /trackback
Disallow: /feed
Disallow: */trackback
Disallow: */feed
Host:mmagaz.ru
User-agent: Googlebot
Disallow: /cgi-bin
Disallow: /wp-admin
Disallow: /wp-login
Disallow: /wp-includes
Disallow: /wp-content/plugins
Disallow: /wp-content/cache
Disallow: /wp-content/themes
Disallow: /trackback
Disallow: /feed
Disallow: */trackback
Disallow: */feed
Host:mmagaz.ru
User-agent: *
Disallow: /cgi-bin
Disallow: /wp-admin
Disallow: /wp-login
Disallow: /wp-includes
Disallow: /wp-content/plugins
Disallow: /wp-content/cache
Disallow: /wp-content/themes
Disallow: /trackback
Disallow: /feed
Disallow: */trackback
Disallow: */feed
Sitemap: http://mmagaz.ru/sitemap.xml



Чисто на вскидку так:

Код
User-agent: * 
Disallow: /cgi-bin 
Disallow: /wp-*
Disallow: /comments
Disallow: /trackback 
Disallow: /feed 
Disallow: */trackback
Disallow: */comments 
Disallow: */feed 
Disallow: /*?*
Allow: /wp-content/uploads/
Sitemap:  http://mmagaz.ru/sitemap.xml
Host: mmagaz.ru 


Если в сиджиаях ничего нет, то можно эту строку выпилить.
Изменено: Shiva - 9 Июня 2011 04:42
Страницы: 1
Похожие темы:
Читают тему (гостей: 1, пользователей: 0, из них скрытых: 0)
Новые темыОбъявленияСвободное общение
22:04 Яндекс тИЦ 03.12.2016 
21:49 Платная регистрация 
21:31 Нарушение правил в Google AdSense - Содержание, скопированное с других сайтов 
21:24 Можно дублировать стараницы сайт/форум? 
20:59 Апдейт Яндекса 03.12.2016 
20:21 Более 100 уникальных статей а трафика почти нет. 
19:23 Внешние переходы с iframe-toloka.com - как с ними бороться? 
22:33 Продам домены РУС 
20:17 Размещу ссылку на сайте строительной тематики 190 руб 
20:14 Куплю аккаунт Google Adsense 
19:53 Нужен скрипт по проверке изменений на странице 
19:23 Продам новостной сайт 
19:03 Продам Доску объявлений 
18:18 Представитель Вашей компании в Англии 
22:01 Книга "Просветление за полчаса" 
21:37 Гугл не хочет индексировать 
21:03 «Угадай дату апдейта тИЦ» — получи Xneolinks + 500 рублей! 
20:02 Продам торрент трекер 
19:16 Если у Вас будет возможность потратить на Трастике 10 тыс.руб. 
18:55 Девушку приговорили к году тюрьмы после угроз самой себе в фейсбуке 
12:19 Японские ученые: шумное кафе меньше отвлекает от работы, чем офис