|
#1
22 Мая 2011 12:23
Я тут уже задавал вопрос по robots.txt, и после того я немного почитал литературы по этому поводу и сделал этот файлик:
Вот посмотрите: _http://www.bestcwalk.com/robots.txt Подскажите что неправильно, что поправить что добавить.... |
|
#2
22 Мая 2011 12:31
Я такого не видел не где
 |
|
#3
22 Мая 2011 12:35
Sitemap: http://www.bestcwalk.com/sitemap.xml
Host: bestcwalk.com ошибка... Sitemap: http://bestcwalk.com/sitemap.xml Host: bestcwalk.com правильно |
|
#4
22 Мая 2011 12:37
А вообще бред
Вы вначале User-agent: * Говорите всем агентом После еще раз каждому агенту. Они уже читать ваше письмо небудут.
Изменено:
Arte - 22 Мая 2011 12:37
|
|
#5
22 Мая 2011 12:37
А чем различаются эти два варианта??? Как по мне они идентичны, где ошибка и где правильно! |
|
#6
22 Мая 2011 12:40
Я читал что "User-agent: *" будут читать все мелкие поисковики.... А крупные типа гугл и яндекс будут читать только там где "User-agent: Yandex" и "User-agent: Googlebot" ... |
|
#7
22 Мая 2011 12:41
И вообще яндекс читать небудет "Host: bestcwalk.com", Из за вашей первой строчки User-agent: * |
|
#8
22 Мая 2011 12:42
User-agent: *
Дословно - "Всем агентам" |
|
#9
22 Мая 2011 12:45
В "Яндекс.Вебмастер" пишет что Яша использует robots.txt с 41 по 80 строчку, тоесть там где начинается User-agent: Yandex и по там где он заканчивается.... |
|
#10
22 Мая 2011 13:21
Прошу прощения за вмешательство.Можете мне по поводу robot.txt подсказать.Составил для блога на ворд прес.Как считаете такой вариант правильный или нет? User-agent: Yandex Disallow: /cgi-bin Disallow: /wp-admin Disallow: /wp-login Disallow: /wp-includes Disallow: /wp-content/plugins Disallow: /wp-content/cache Disallow: /wp-content/themes Disallow: /trackback Disallow: /feed Disallow: */trackback Disallow: */feed Host:mmagaz.ru User-agent: Googlebot Disallow: /cgi-bin Disallow: /wp-admin Disallow: /wp-login Disallow: /wp-includes Disallow: /wp-content/plugins Disallow: /wp-content/cache Disallow: /wp-content/themes Disallow: /trackback Disallow: /feed Disallow: */trackback Disallow: */feed Host:mmagaz.ru User-agent: * Disallow: /cgi-bin Disallow: /wp-admin Disallow: /wp-login Disallow: /wp-includes Disallow: /wp-content/plugins Disallow: /wp-content/cache Disallow: /wp-content/themes Disallow: /trackback Disallow: /feed Disallow: */trackback Disallow: */feed Sitemap: http://mmagaz.ru//sitemap.xml |
|
#11
22 Мая 2011 13:22
Я думаю тут все правильно! Но мне кажется, что User-agent: * нужно ставить первым.... |
|
#12
3 Июня 2011 12:01
Насколько помню.. в robot.txt должен быть только 1 текст - это самый верхний и не более того. |
|
#13
3 Июня 2011 12:50
Влад Скляр, ставите строку User-agent: * вначале, эта строка относится ко всем поисковикам кроме туговатого Яндекса, для него нужно строка User-agent: Yandex ну и конечно Host: bestcwalk.com в конце.
Чтобы понятнее было. Оставьте только первые два блока которые у вас сейчас есть и поменяйте их местами, хотя не знаю будет ли разница от замены. |
|
#14
9 Июня 2011 02:58
Not Found
The requested URL /sitemap.xml/ was not found on this server. |
|
#15
9 Июня 2011 04:38
Чисто на вскидку так:
Если в сиджиаях ничего нет, то можно эту строку выпилить.
Изменено:
Shiva - 9 Июня 2011 04:42
|
|||||||
| 28.08.2023 17:28 | Вопрос знатокам AVE.cms |
| 14.06.2023 19:42 | Нужен знающий человек по работе с Facebook и интеграции |
| 07.06.2023 21:59 | Подскажите движок |
| 10.05.2023 21:15 | Modx и с чем его есть |
| 27.02.2023 16:55 | Why is Salesforce the Future of CRM |
23.11.2023 (161 день назад)
01.04.2024 (31 день назад)
