robots.txt
Страницы: 1
robots.txt
Я тут уже задавал вопрос по robots.txt, и после того я немного почитал литературы по этому поводу и сделал этот файлик:
Вот посмотрите: _http://www.bestcwalk.com/robots.txt

Подскажите что неправильно, что поправить что добавить....

Прогон по твиттеру, постинг в 1500 аккунтов
Постинг в твиттер аккаунты, для ускорения индексации ваших сайтов, сателлитов, дорвеев.

Я такого не видел не где smile:confused:
Sitemap: http://www.bestcwalk.com/sitemap.xml
Host: bestcwalk.com
ошибка...

Sitemap: http://bestcwalk.com/sitemap.xml
Host: bestcwalk.com
правильно
А вообще бред
Вы вначале
User-agent: *
Говорите всем агентом
После еще раз каждому агенту.

Они уже читать ваше письмо небудут.
Изменено: Arte - 22 Мая 2011 12:37
Цитата
Arte пишет:
Sitemap: http://www.bestcwalk.com/sitemap.xml
Host: bestcwalk.com
ошибка...
Sitemap: http://bestcwalk.com/sitemap.xml
Host: bestcwalk.com
правильно


А чем различаются эти два варианта??? Как по мне они идентичны, где ошибка и где правильно!
Цитата
Arte пишет:
А вообще бред
Вы вначале
User-agent: *
Говорите всем агентом
После еще раз каждому агенту.
Они уже читать ваше письмо небудут.


Я читал что "User-agent: *" будут читать все мелкие поисковики....
А крупные типа гугл и яндекс будут читать только там где "User-agent: Yandex" и "User-agent: Googlebot" ...
Цитата
Влад Скляр пишет:
Цитата
Arte пишет:
Sitemap: http://www.bestc
Host: bestcwalk.com
ошибка...
Sitemap: http://bestcw
Host: bestcwalk.com
правильно

А чем различаются эти два варианта??? Как по мне они идентичны, где ошибка и где правильно!



И вообще яндекс читать небудет "Host: bestcwalk.com", Из за вашей первой строчки User-agent: *
User-agent: *

Дословно - "Всем агентам"
Цитата
Arte пишет:
И вообще яндекс читать небудет "Host: bestcwalk.com", Из за вашей первой строчки User-agent: *


В "Яндекс.Вебмастер" пишет что Яша использует robots.txt с 41 по 80 строчку, тоесть там где начинается User-agent: Yandex и по там где он заканчивается....
Цитата
Влад Скляр пишет:
Googlebot

Прошу прощения за вмешательство.Можете мне по поводу robot.txt подсказать.Составил для блога на ворд прес.Как считаете такой вариант правильный или нет?
User-agent: Yandex
Disallow: /cgi-bin
Disallow: /wp-admin
Disallow: /wp-login
Disallow: /wp-includes
Disallow: /wp-content/plugins
Disallow: /wp-content/cache
Disallow: /wp-content/themes
Disallow: /trackback
Disallow: /feed
Disallow: */trackback
Disallow: */feed
Host:mmagaz.ru

User-agent: Googlebot
Disallow: /cgi-bin
Disallow: /wp-admin
Disallow: /wp-login
Disallow: /wp-includes
Disallow: /wp-content/plugins
Disallow: /wp-content/cache
Disallow: /wp-content/themes
Disallow: /trackback
Disallow: /feed
Disallow: */trackback
Disallow: */feed
Host:mmagaz.ru

User-agent: *
Disallow: /cgi-bin
Disallow: /wp-admin
Disallow: /wp-login
Disallow: /wp-includes
Disallow: /wp-content/plugins
Disallow: /wp-content/cache
Disallow: /wp-content/themes
Disallow: /trackback
Disallow: /feed
Disallow: */trackback
Disallow: */feed

Sitemap: http://mmagaz.ru//sitemap.xml
все будет...
Цитата
Евгений Пол пишет:
Цитата
Влад Скляр пишет:
Googlebot

Прошу прощения за вмешательство.Можете мне по поводу robot.txt подсказать.Составил для блога на ворд прес.Как считаете такой вариант правильный или нет?
User-agent: Yandex
Disallow: /cgi-bin
Disallow: /wp-admin
Disallow: /wp-login
Disallow: /wp-includes
Disallow: /wp-content/plugins
Disallow: /wp-content/cache
Disallow: /wp-content/themes
Disallow: /trackback
Disallow: /feed
Disallow: */trackback
Disallow: */feed
Host:mmagaz.ru
User-agent: Googlebot
Disallow: /cgi-bin
Disallow: /wp-admin
Disallow: /wp-login
Disallow: /wp-includes
Disallow: /wp-content/plugins
Disallow: /wp-content/cache
Disallow: /wp-content/themes
Disallow: /trackback
Disallow: /feed
Disallow: */trackback
Disallow: */feed
Host:mmagaz.ru
User-agent: *
Disallow: /cgi-bin
Disallow: /wp-admin
Disallow: /wp-login
Disallow: /wp-includes
Disallow: /wp-content/plugins
Disallow: /wp-content/cache
Disallow: /wp-content/themes
Disallow: /trackback
Disallow: /feed
Disallow: */trackback
Disallow: */feed
Sitemap: http://mmagaz.ru//sitemap.xml


Я думаю тут все правильно! Но мне кажется, что User-agent: * нужно ставить первым....
Цитата
Влад Скляр пишет:
Я тут уже задавал вопрос по robots.txt, и после того я немного почитал литературы по этому поводу и сделал этот файлик:
Вот посмотрите: _http://www.bestcwalk.com/robots.txt
Подскажите что неправильно, что поправить что добавить....

Насколько помню.. в robot.txt должен быть только 1 текст - это самый верхний и не более того.
Влад Скляр, ставите строку User-agent: * вначале, эта строка относится ко всем поисковикам кроме туговатого Яндекса, для него нужно строка User-agent: Yandex ну и конечно Host: bestcwalk.com в конце.
Чтобы понятнее было. Оставьте только первые два блока которые у вас сейчас есть и поменяйте их местами, хотя не знаю будет ли разница от замены.
Not Found

The requested URL /sitemap.xml/ was not found on this server.
Родился - Надо жить!
А жизнь - стратегия, любовь, стремление.
Поставив цель - старайся победить,
Оставив жизни след другому поколению!
Цитата
Евгений Пол пишет:
Цитата
Влад Скляр пишет:
Googlebot

Прошу прощения за вмешательство.Можете мне по поводу robot.txt подсказать.Составил для блога на ворд прес.Как считаете такой вариант правильный или нет?
User-agent: Yandex
Disallow: /cgi-bin
Disallow: /wp-admin
Disallow: /wp-login
Disallow: /wp-includes
Disallow: /wp-content/plugins
Disallow: /wp-content/cache
Disallow: /wp-content/themes
Disallow: /trackback
Disallow: /feed
Disallow: */trackback
Disallow: */feed
Host:mmagaz.ru
User-agent: Googlebot
Disallow: /cgi-bin
Disallow: /wp-admin
Disallow: /wp-login
Disallow: /wp-includes
Disallow: /wp-content/plugins
Disallow: /wp-content/cache
Disallow: /wp-content/themes
Disallow: /trackback
Disallow: /feed
Disallow: */trackback
Disallow: */feed
Host:mmagaz.ru
User-agent: *
Disallow: /cgi-bin
Disallow: /wp-admin
Disallow: /wp-login
Disallow: /wp-includes
Disallow: /wp-content/plugins
Disallow: /wp-content/cache
Disallow: /wp-content/themes
Disallow: /trackback
Disallow: /feed
Disallow: */trackback
Disallow: */feed
Sitemap: http://mmagaz.ru/sitemap.xml



Чисто на вскидку так:

Код
User-agent: * 
Disallow: /cgi-bin 
Disallow: /wp-*
Disallow: /comments
Disallow: /trackback 
Disallow: /feed 
Disallow: */trackback
Disallow: */comments 
Disallow: */feed 
Disallow: /*?*
Allow: /wp-content/uploads/
Sitemap:  http://mmagaz.ru/sitemap.xml
Host: mmagaz.ru 


Если в сиджиаях ничего нет, то можно эту строку выпилить.
Изменено: Shiva - 9 Июня 2011 04:42
Страницы: 1
Похожие темы:
Читают тему (гостей: 1, пользователей: 0, из них скрытых: 0)
Новые темыОбъявленияСвободное общение
20:20 Аккаунты Яндекс Директ без НДС 
19:40 Официальный апдейт Google Penguin 
18:57 Скрывать ли категории (рубрики) 
18:53 ТОП 
18:43 Нужны ли тэги 
18:37 Ап 25.09 
17:28 Сайт определен как Дорвей 
20:19 Fineproxy.org - быстрые серверные прокси. 
20:11 3 совета по Юзабилити и Конверсии / SEO аудит 
19:59 Нужен простенький парсер. Срочно 
19:53 Размещу вечную ссылку на новостном сайте. 
19:49 Копирайт и SEO-копирайт 
19:40 Парсер для сбора элитных прокси серверов. 
19:32 Комплексная раскрутка сайтов. Качественные услуги, прогоны и прочее. (2000+ отзывов) 
20:56 Подайте идей 
20:47 "Амнистия" 2016 
19:39 От Евгении Никитиной с любовью. Текст не более 2 000 символов бесплатно 
18:26 (продолжение) 100 человек живых в группу с приглашений ВКонтакте за отзыв 
17:18 А какая зарплата? 
11:14 Наши машинки 
09:42 Халява, почти. Текст более 3 млн.сим., ~200 тИЦ, до 10 тыс.твиттер прогон (значения указаны суммарно) БЕСПЛАТНО