Робот.тхт
Страницы: 1 2 След.
Робот.тхт, подскажите
Есть сайт - http://gamebot.my1.ru/
Вот его робот - http://gamebot.my1.ru/robots.txt

Гугл, кушает странички и не бибикает, а Яша пишет вот-так:
Рисунок

Думал бан в Яндексе - Платон божиться что всё в порядке. может быть вы заметите, что не так? smile:confused:
Скорее всего вам надо просто сделать нормальный robot.txt и site-map
Цитата
александр александров пишет:
Скорее всего вам надо просто сделать нормальный robot.txt и site-map
робот был нормальный, как такая фигня началась(с месяц назад), я открыл всё... как видите не помогает...
Укажите в Вашем robots.txt хотя бы пустой Disallow:

и попробуйте добавить на сайт

<met a name="robots" content="all" />
Ucoz'овские сайты на месяц всегда в карантине, может, после снятия карантина Яндекс еще не успел проиндексировать.
Поставь вот так:
User-agent: Yandex
Disallow:
Host: site.ru
Цитата
Алёна пишет:
Ucoz'овские сайты на месяц всегда в карантине, может, после снятия карантина Яндекс еще не успел проиндексировать.
Сайту полгода
Цитата
Поставь вот так:
User-agent: Yandex
Disallow:
Host: site.ru
Спасибо. сейчас попробую.

ПСи После Host: http:// надо или нет?
Изменено: Duskin - 14 Апреля 2011 20:12
Вот правильный robots.txt для вашего сайта. Придраться Яндексу и Гуглу будет не к чему. Команда Host для сайтов на Юкозе не нужна совсем. Вставлять ее туда не имеет никакого смысла.

User-agent: *
Disallow: /a/
Disallow: /stat/
Disallow: /index/1
Disallow: /index/2
Disallow: /index/3
Disallow: /index/5
Disallow: /index/7
Disallow: /index/8
Disallow: /index/9
Disallow: /panel/
Disallow: /admin/
Disallow: /secure/
Disallow: /informer/
Disallow: /mchat
Disallow: /search

Sitemap: http://gamebot.my1.ru/sitemap.xml
Sitemap: http://gamebot.my1.ru/sitemap-forum.xml
Изменено: Miss Belka - 14 Апреля 2011 21:37
Цитата
Duskin пишет:
ПСи После Host: http:// надо или нет?


Нет не нужно, просто пишите site.com и все...
Цитата
Miss Belka пишет:
Вот правильный robots.txt для вашего сайта. Придраться Яндексу и Гуглу будет не к чему....
Точно такой-же был изначально, Яндекс до него и начал докапываться....
Цитата
Duskin пишет:
Точно такой-же был изначально, Яндекс до него и начал докапываться....


Как же он мог до него докапываться, если он написан с соблюдением всех правил написания? Все сайты на UCOZ работают именно с таким robots.txt. Менять там ничего не нужно - каждая строка имеет большое значение.
Работают... У меня ещё два Ucozных с такими работают, а вот этот не хочет. Сейчас переписал sitemap и робот поменял (host прописал). Посмотрим что скажет после выдачи...
Если в юкозовском роботсе были найдены ошибки, то значит сам файл robots.txt был изменен вручную без сохранения в нужной кодировке. Советую не заниматься ерундой, а удалить тот robots, который сейчас через ПУ сайта и подождать, пока UCOZ не восстановит нормальный smile;) И еще раз про host... Он не имеет значения для сайтов на UCOZ, тем более домен вашего сайта однозначен в любом виде. Попробуйте набрать в браузере с www и без само название. Результат будет один и тот же. Дело ваше конечно... Просто все эти проблемы уже пройденный этап для меня... не хотите следовать совету - пробуйте эти грабли самостоятельно smile:)
Цитата
Miss Belka пишет:
Если в юкозовском роботсе были найдены ошибки, то значит сам файл robots.txt был изменен вручную без сохранения в нужной кодировке....
Да в том-то и дело, что началось нес того, нес сего. воопсче нечего не делал... хлоп и всё вылетело... подумал что БАН. Все что можно в Нофоллоу и Ноиндекс спрятал, отписал Щукиным, они грят всё путём..
Цитата
Miss Belka пишет:
Советую не заниматься ерундой, а удалить тот robots, который сейчас через ПУ сайта и подождать, пока UCOZ не восстановит нормальный... И еще раз про host... Он не имеет значения для сайтов на UCOZ, тем более домен вашего сайта однозначен в любом виде...
Домен менялся... Это стоит родной, непродолжительное время стоял другой домен.
Код
User-agent: *
Disallow:
Host: gamebot.my1.ru

Sitemap: http://gamebot.my1.ru/sitemap.xml
Sitemap: http://gamebot.my1.ru/sitemap-forum.xml

Зачем умничать то? Страндартный Robots.Txt проработан временем, и специалисты данной системы учтя все нюансы, создали нормальный Robots.txt который позволит вашему сайту более тщательно и быстро индексироваться.
Единственное, что можно поставить директиву "Host" на главный домен...
Для вашего сайта вот такой Robots.Txt подойдёт:
Код
User-agent: *
Disallow: /a/
Disallow: /stat/
Disallow: /index/1
Disallow: /index/2
Disallow: /index/3
Disallow: /index/5
Disallow: /index/7
Disallow: /index/8
Disallow: /index/9
Disallow: /panel/
Disallow: /admin/
Disallow: /secure/
Disallow: /informer/
Disallow: /mchat
Disallow: /search

Host: gamebot.my1.ru

Sitemap: http://gamebot.my1.ru/sitemap.xml
Sitemap: http://gamebot.my1.ru/sitemap-forum.xml
Изменено: abc000 - 15 Апреля 2011 07:54
...
Страницы: 1 2 След.
Похожие темы:
Читают тему (гостей: 1, пользователей: 0, из них скрытых: 0)
Новые темыОбъявленияСвободное общение
18:26 XRumer 23 StrongAI 
09:59 Ошибка после размещения кода HTML! 
21:44 Webvork - международная товарная СРА сеть с сертифицированными офферами на Европу. 
15:34 Adtrafico - Правильная партнёрская сеть под бурж трафик 
14:43 Партнерская программа OWNR WALLET 
13:47 DreamCash.tl - заработок на онлайн-видео. До 95% отчислений, отличный конверт! 
21:08 Влияет ли кодировка на индексацию позиции в поиске? 
16:38 Belurk — высокоскоростные анонимные прокси от 0,24 рублей 
15:28 Ural-obmen.ru — выгодный сервис обмена 
15:09 Obama.ru - безопасный обмен криптовалют и электронных денежных средств 
13:14 A-Parser 1.1 - продвинутый парсер поисковых систем, Suggest, PR, DMOZ, Whois, etc 
11:51 Европейский эквайринг 
11:19 BestChange – обменивать электронную валюту можно быстро и выгодно 
06:19 Просто $0.04/IP 9PROXY.COM Резидентные прокси Неограниченная пропускная способность Уникальная политика замены Без чёрного списка 
18:06 Точные прогнозы на футбол 
14:41 Бесплатный мини-аудит юзабилити и конверсии + технический SEO-аудит в подарок 
11:15 Каспкрски ОС 
15:24 Добро пожаловать в цифровой мир... 
22:58 У меня дикая просадка по РСЯ за последние 3 суток 
21:51 Linux - это максимальная свобода 
21:33 Ням-ням! - 8 деликатесов, которые когда-то ели только бедные люди