Как быть с такой проблемой?
Страницы: 1
Как быть с такой проблемой?, с robots.txt
Возникла проблема с robots.txt,гугл просто взял и начал кричать,что в роботс "Файл Sitemap содержит URL, доступ к которым заблокирован в файле robots.txt."Хотя до этого индексировался,а сам файл robots вобще пустой на блокировку,он вида

Цитата
Цитата
Sitemap: http://www.invisible-tm.ru/sitemap.xml
Цитата
Sitemap: http://www.invisible-tm.ru/sitemap-forum.xml
Цитата
Sitemap: http://www.invisible-tm.ru/sitemap-shop.xml
И как это решить
ну в сайтмапе сушествуют же и ссылки на категории быть может и на профиля тоже


ICQ: 647366012 Skype: ftpzerocool</b>
Цитата
ZerocooL пишет:
ну в сайтмапе сушествуют же и ссылки на категории быть может и на профиля тоже
Так ведь написано,что блокировка в robots.txt
Цитата
Цитата
ZerocooL пишет:
ну в сайтмапе сушествуют же и ссылки на категории быть может и на профиля тоже
Так ведь написано,что блокировка в robots.txt
Интересно, кто Вас надоумил составить такой robots.txt?!Верните хотя бы стандартный Юкозовский и проблема отпадёт.
В качестве варианта ответа. Роботс блокирует указанные вами директории и специальные символы в заголовках. Даю пример: Вася - сеошник, Вася (длинное тире) сеошник. В итоге длинное тире оказывается спецсимволом. Страница есть в сайтмапе, но гугль кричит об ошибке индексирования. Eсли всмотреться, то заголовки в самом деле разные:

Вася – сеошник
Вася - сеошник.
В линках длинное тире даст закорючки спецсимвола. Поменяйте на короткое.
ПОсмотрите здесь http://inforedesign.com/notes/defis-korotkoe-tire-dlinnoe-tire/

Может быть, что дело в спецсимволах.
Изменено: Yavor Parvanov - 6 Апреля 2012 00:00
Цитата
mozambik пишет:
Цитата
Цитата
ZerocooL пишет:
ну в сайтмапе сушествуют же и ссылки на категории быть может и на профиля тоже
Так ведь написано,что блокировка в robots.txt
Интересно, кто Вас надоумил составить такой robots.txt?!Верните хотя бы стандартный Юкозовский и проблема отпадёт.
Вернул стандарт


Цитата
Yavor Parvanov пишет:
В качестве варианта ответа. Роботс блокирует указанные вами директории и специальные символы в заголовках. Даю пример: Вася - сеошник, Вася (длинное тире) сеошник. В итоге длинное тире оказывается спецсимволом. Страница есть в сайтмапе, но гугль кричит об ошибке индексирования. Eсли всмотреться, то заголовки в самом деле разные:

Вася – сеошник
Вася - сеошник.
В линках длинное тире даст закорючки спецсимвола. Поменяйте на короткое.
ПОсмотрите здесь http://inforedesign.com/notes/defis-korotkoe-tire-dlinnoe-tire/

Может быть, что дело в спецсимволах.
Изменил заголовок страницы,но не думаю,что дело в этом
Ничего не помогло(
Ну же ребят,как эту проблему решить,robots вернул стандарт тоесть
Цитата


User-agent: * 
Disallow: /a/ 
Disallow: /stat/ 
Disallow: /index/1 
Disallow: /index/2 
Disallow: /index/3 
Disallow: /index/5 
Disallow: /index/7 
Disallow: /index/8 
Disallow: /index/9 
Disallow: /panel/ 
Disallow: /admin/ 
Disallow: /secure/ 
Disallow: /informer/ 
Disallow: /mchat 
Disallow: /search 

Sitemap: http://www.invisible-tm.ru/sitemap.xml
Sitemap: http://www.invisible-tm.ru/sitemap-forum.xml
Sitemap: http://www.invisible-tm.ru/sitemap-shop.xml
Проблема в том,что нужно указывать количество опубликованных новостей при создании файла карты сайта,а вы отправляете все новости и в том числе которые находятся на модерации,я тоже искал как решить эту проблему,пока сам не до пёр)...удалите файл и создайте новый и укажите только опубликованные новости ...вроде разжевал   torrentila.ru/soft/]Программы без регистрации через торрент
Цитата
Сергей Сергеев пишет:
Проблема в том,что нужно указывать количество опубликованных новостей при создании файла карты сайта,а вы отправляете все новости и в том числе которые находятся на модерации,я тоже искал как решить эту проблему,пока сам не до пёр)...удалите файл и создайте новый и укажите только опубликованные новости ...вроде разжевал torrentila.ru/soft/ -Программы без регистрации через торрент
Замечание никак не сказывается на индексации сайта, а говорит лишь о том, что в карте сайта содержатся урлы запрещенные в роботсе.
Если Вы уверены в своем роботс.тхт, то можете просто не обращать внимания.
Было такое, когда разбил одну большую статью на страницы, а в роботсе был запрет на динамические страницы.
Если хотите избавиться от предупреждения, Вам надо ковыряться в карте сайта. Пробежаться по урлам и проверить их на соответствие роботсу.
Глупый пингвин робко прячет, умный - смело достаёт...)
Я использую вот такой роботс
Код
User-agent: *
Disallow: /a/
Disallow: /stat/
Disallow: /index/1
Disallow: /index/2
Disallow: /index/3
Disallow: /index/5
Disallow: /index/7
Disallow: /index/8
Disallow: /index/9
Disallow: /panel/
Disallow: /admin/
Disallow: /secure/
Disallow: /informer/
Disallow: /go?
Disallow: /mchat/
Disallow: /search/
Disallow: /index/sluzhba_podderzhki/0-9
Disallow: /abnl/
Disallow: /js/
Disallow: /rotapost02aaaaf5c42f43fdb742c08ee7206570.txt

Host: site.ru

sitemap: site.ru/sitemap.xml
Изменено: Super777 - 12 Ноября 2012 19:05
Страницы: 1
Похожие темы:
Читают тему (гостей: 1, пользователей: 0, из них скрытых: 0)
Новые темыОбъявленияСвободное общение
14:13 LOSPOLLOS.COM - Конвертим по рецепту Хайзенберга. Dating, Mainstream, Binary Options 
13:38 2Index - быстрая индексация страниц сайта и обратных ссылок 
12:44 РСЯ и тормоза сайта: Яндекс начал штрафовать за плохой PageSpeed? 
12:42 01.02. Апдейт 31.01 // Chrome готовит "чёрную метку" для ИИ? 
23:09 Как безопасно купить Гугл почту? 
13:45 Какой движок выбрать для форума? 
13:43 Нашел скрины выплат с Сапы за 2010 год. Пошел плакать 
14:05 TETChange-Обменник криптовалют 
12:36 Nexulume.com Обменник без AML и KYC 
09:12 Swapwatch.org — Мониторинг криптовалютных обменников 
09:07 Просто $0.04/IP 9PROXY.COM Резидентные прокси Неограниченная пропускная способность Уникальная политика замены Без чёрного списка 
23:25 SOCKS5 приватные прокси на 30 дней для PayPal 
23:24 Google Voice аккаунты для бесплатных SMS и звонков 
23:23 PayPal аккаунты для любых целей 
12:41 Moltbook: Соцсеть для ботов, где людям закрыли рот. Началось? 
06:26 Ставки на супер тренды в спорте 
22:31 [AI] Бот за $600к советовал есть сыр с крысами. Нью-Йорк его (наконец-то) снес 
22:30 Точные прогнозы на футбол 
13:38 Осталось 3-5 месяцев до блокировки YouTube в России, — заявил Клименко 
07:11 Список обновленных тем пуст... 
17:02 Gartner обещал смерть SEO к 2026 году. Открываем метрику и проверяем