Вопрос по индексации сайта
Страницы: 1
Вопрос по индексации сайта
Здравствуйте!
Несколько апов назад в поисковой выдаче остались только категории сайта,хотя до этого проблем с индексаций проблем небыло.
В субботу написал Платону. Его ответ:
Цитата
На данный момент на Вашем сайте отсутствует контент, доступный для индексирования. Когда сайт наполнится полезным содержанием, пожалуйста, напишите нам еще раз.

Подскажите в чем проблема. Вот robots.txt с сайта
User-agent: *
Disallow: /engine/download.php
Disallow: /engine/go.php
Disallow: /user/
Disallow: /to/?
Disallow: /newposts/
Disallow: /engine/
Disallow: /language/
Disallow: /templates/
Disallow: /upgrade/
Disallow: /favorites/
Disallow: /tags/
Disallow: /*page/
Disallow: /page/
Disallow: /2010/
Disallow: /2011/
Disallow: /statistics.html
Disallow: /*subaction=userinfo
Disallow: /*subaction=newposts
Disallow: /*do=lastcomments
Disallow: /*do=feedback
Disallow: /*do=register
Disallow: /*do=lostpassword
Disallow: /*do=addnews
Disallow: /*do=stats
Disallow: /*do=pm
Disallow: /*print
Disallow: /*userinfo
Disallow: /index.php?subaction=userinfo
Disallow: /index.php?do=pm
Disallow: /index.php?do=search
Disallow: /index.php?subaction=newposts
Disallow: /index.php?do=rules
Disallow: /rules.html

User-agent: Yandex
Disallow: /engine/download.php
Disallow: /engine/go.php
Disallow: /user/
Disallow: /to/?
Disallow: /newposts/
Disallow: /engine/
Disallow: /language/
Disallow: /templates/
Disallow: /upgrade/
Disallow: /favorites/
Disallow: /tags/
Disallow: /*page/
Disallow: /page/
Disallow: /2010/
Disallow: /2011/
Disallow: /statistics.html
Disallow: /*subaction=userinfo
Disallow: /*subaction=newposts
Disallow: /*do=lastcomments
Disallow: /*do=feedback
Disallow: /*do=register
Disallow: /*do=lostpassword
Disallow: /*do=addnews
Disallow: /*do=stats
Disallow: /*do=pm
Disallow: /*print
Disallow: /*userinfo
Disallow: /index.php?subaction=userinfo
Disallow: /index.php?do=pm
Disallow: /index.php?do=search
Disallow: /index.php?subaction=newposts
Disallow: /index.php?do=rules
Disallow: /rules.html
Host: tut-zadrotov.net


User-agent: Googlebot
Disallow: /engine/download.php
Disallow: /engine/go.php
Disallow: /user/
Disallow: /to/?
Disallow: /newposts/
Disallow: /engine/
Disallow: /language/
Disallow: /templates/
Disallow: /upgrade/
Disallow: /favorites/
Disallow: /tags/
Disallow: /*page/
Disallow: /page/
Disallow: /2010/
Disallow: /2011/
Disallow: /statistics.html
Disallow: /*subaction=userinfo
Disallow: /*subaction=newposts
Disallow: /*do=lastcomments
Disallow: /*do=feedback
Disallow: /*do=register
Disallow: /*do=lostpassword
Disallow: /*do=addnews
Disallow: /*do=stats
Disallow: /*do=pm
Disallow: /*print
Disallow: /*userinfo
Disallow: /index.php?subaction=userinfo
Disallow: /index.php?do=pm
Disallow: /index.php?do=search
Disallow: /index.php?subaction=newposts
Disallow: /index.php?do=rules
Disallow: /rules.html

Sitemap: http://tut-zadrotov.net/sitemap.xml
Что у вас за движок сайта?
dle
может проблема в robots?
Проблема именно в нем! Для чего ботам дважды запрещать индексировать одно и тоже содержимое?
User-agent: * - это и есть призыв как к ботам Яндекса, так и к ботам Гугла о том, какое содержимое им не следует индексировать.
User-agent: Yandex, User-agent: Googlebot - это конкретное обращение к ботам того или иного поисковика. Этим Вы еще раз повторяете ботам что им следует делать - это не правильно, они и так поняли из  "User-agent: *". Это тоже самое, например: Объявление в магазине "Хлеба нет", а Вы прочитав его, обращаетесь к продавцу - "у Вас есть хлеб?". Согласитесь глупо!
Во такой у Вас должен быть роботс.
User-agent: *
Disallow: /engine/download.php
Disallow: /engine/go.php
Disallow: /user/
Disallow: /to/?
Disallow: /newposts/
Disallow: /engine/
Disallow: /language/
Disallow: /templates/
Disallow: /upgrade/
Disallow: /favorites/
Disallow: /tags/
Disallow: /*page/
Disallow: /page/
Disallow: /2010/
Disallow: /2011/
Disallow: /statistics.html
Disallow: /*subaction=userinfo
Disallow: /*subaction=newposts
Disallow: /*do=lastcomments
Disallow: /*do=feedback
Disallow: /*do=register
Disallow: /*do=lostpassword
Disallow: /*do=addnews
Disallow: /*do=stats
Disallow: /*do=pm
Disallow: /*print
Disallow: /*userinfo
Disallow: /index.php?subaction=userinfo
Disallow: /index.php?do=pm
Disallow: /index.php?do=search
Disallow: /index.php?subaction=newposts
Disallow: /index.php?do=rules
Disallow: /rules.html
Host: tut-zadrotov.net
User-agent: Yandex
Allow: /
Sitemap: http://tut-zadrotov.net/sitemap.xml
Поправьте, если не так.
Согласен с вами.

Цитата
Александр пишет:
Во такой у Вас должен быть роботс.
Согласен с вами.
Александр, большое спасибо за помощь! Думаю в скором времени все вернется на свои места.smile:)
не шутите с файлом robots.txt а лучше почитайте  здесь - www.kapon.com.ua/str1.php
.
Изменено: fobos234 - 10 Апреля 2012 19:56
Не факт, посмотри у конкрентов ДЛЕшных. И в любом случае ссылочное не помешает.
Страницы: 1
Похожие темы:
Читают тему (гостей: 1, пользователей: 0, из них скрытых: 0)
Новые темыОбъявленияСвободное общение
13:23 LOSPOLLOS.COM - Конвертим по рецепту Хайзенберга. Dating, Mainstream, Binary Options 
13:16 Dao.AD: Монетизация и покупка Push/Pops/Inpage и Video трафика! 
08:26 Помогите! ОТКРЫЛАСЬ монетизация на ЮТЮБ! Но Как быть в 2024 с Adsense? 
08:23 Rotapost прикрыли! Чем пользоваться? 
17:53 Webvork - международная товарная СРА сеть с сертифицированными офферами на Европу. 
12:39 2Index - быстрая индексация страниц сайта и обратных ссылок 
06:17 3snet - гемблинг, беттинг, форекс, бинарные опционы, майнинг 
23:01 Скрипт обменника валют 
20:45 BestX24 - быстрый и безопасный обменник криптовалют и электронных денежных средств 
17:34 CryptoGraph — Анонимный обмен криптовалют без KYC и AML 
17:06 TETChange-Обменник криптовалют 
14:45 TIGER SMS — Виртуальные номера для SMS-верификации (опт и розница) 
14:43 Onechange.me — надежный обменник криптовалют и фиатных средств 
14:03 Quix Email - сервис почтовых активаций 
13:08 Бесплатный майнинг Tether (USDT) 
10:29 С юмором по жизни! 
16:49 monetizer.agency – рекламная сеть для взрослого и развлекательного трафика. 100$ новому вебмастеру 
20:43 Добро пожаловать в цифровой мир... 
15:59 Про мясо 
23:09 ПП от PMS remote.team - 200$ за команду 
13:28 Компьютерная мышь