Вопрос по индексации сайта
Страницы: 1
Вопрос по индексации сайта
Здравствуйте!
Несколько апов назад в поисковой выдаче остались только категории сайта,хотя до этого проблем с индексаций проблем небыло.
В субботу написал Платону. Его ответ:
Цитата
На данный момент на Вашем сайте отсутствует контент, доступный для индексирования. Когда сайт наполнится полезным содержанием, пожалуйста, напишите нам еще раз.

Подскажите в чем проблема. Вот robots.txt с сайта
User-agent: *
Disallow: /engine/download.php
Disallow: /engine/go.php
Disallow: /user/
Disallow: /to/?
Disallow: /newposts/
Disallow: /engine/
Disallow: /language/
Disallow: /templates/
Disallow: /upgrade/
Disallow: /favorites/
Disallow: /tags/
Disallow: /*page/
Disallow: /page/
Disallow: /2010/
Disallow: /2011/
Disallow: /statistics.html
Disallow: /*subaction=userinfo
Disallow: /*subaction=newposts
Disallow: /*do=lastcomments
Disallow: /*do=feedback
Disallow: /*do=register
Disallow: /*do=lostpassword
Disallow: /*do=addnews
Disallow: /*do=stats
Disallow: /*do=pm
Disallow: /*print
Disallow: /*userinfo
Disallow: /index.php?subaction=userinfo
Disallow: /index.php?do=pm
Disallow: /index.php?do=search
Disallow: /index.php?subaction=newposts
Disallow: /index.php?do=rules
Disallow: /rules.html

User-agent: Yandex
Disallow: /engine/download.php
Disallow: /engine/go.php
Disallow: /user/
Disallow: /to/?
Disallow: /newposts/
Disallow: /engine/
Disallow: /language/
Disallow: /templates/
Disallow: /upgrade/
Disallow: /favorites/
Disallow: /tags/
Disallow: /*page/
Disallow: /page/
Disallow: /2010/
Disallow: /2011/
Disallow: /statistics.html
Disallow: /*subaction=userinfo
Disallow: /*subaction=newposts
Disallow: /*do=lastcomments
Disallow: /*do=feedback
Disallow: /*do=register
Disallow: /*do=lostpassword
Disallow: /*do=addnews
Disallow: /*do=stats
Disallow: /*do=pm
Disallow: /*print
Disallow: /*userinfo
Disallow: /index.php?subaction=userinfo
Disallow: /index.php?do=pm
Disallow: /index.php?do=search
Disallow: /index.php?subaction=newposts
Disallow: /index.php?do=rules
Disallow: /rules.html
Host: tut-zadrotov.net


User-agent: Googlebot
Disallow: /engine/download.php
Disallow: /engine/go.php
Disallow: /user/
Disallow: /to/?
Disallow: /newposts/
Disallow: /engine/
Disallow: /language/
Disallow: /templates/
Disallow: /upgrade/
Disallow: /favorites/
Disallow: /tags/
Disallow: /*page/
Disallow: /page/
Disallow: /2010/
Disallow: /2011/
Disallow: /statistics.html
Disallow: /*subaction=userinfo
Disallow: /*subaction=newposts
Disallow: /*do=lastcomments
Disallow: /*do=feedback
Disallow: /*do=register
Disallow: /*do=lostpassword
Disallow: /*do=addnews
Disallow: /*do=stats
Disallow: /*do=pm
Disallow: /*print
Disallow: /*userinfo
Disallow: /index.php?subaction=userinfo
Disallow: /index.php?do=pm
Disallow: /index.php?do=search
Disallow: /index.php?subaction=newposts
Disallow: /index.php?do=rules
Disallow: /rules.html

Sitemap: http://tut-zadrotov.net/sitemap.xml
Что у вас за движок сайта?
dle
может проблема в robots?
Проблема именно в нем! Для чего ботам дважды запрещать индексировать одно и тоже содержимое?
User-agent: * - это и есть призыв как к ботам Яндекса, так и к ботам Гугла о том, какое содержимое им не следует индексировать.
User-agent: Yandex, User-agent: Googlebot - это конкретное обращение к ботам того или иного поисковика. Этим Вы еще раз повторяете ботам что им следует делать - это не правильно, они и так поняли из  "User-agent: *". Это тоже самое, например: Объявление в магазине "Хлеба нет", а Вы прочитав его, обращаетесь к продавцу - "у Вас есть хлеб?". Согласитесь глупо!
Во такой у Вас должен быть роботс.
User-agent: *
Disallow: /engine/download.php
Disallow: /engine/go.php
Disallow: /user/
Disallow: /to/?
Disallow: /newposts/
Disallow: /engine/
Disallow: /language/
Disallow: /templates/
Disallow: /upgrade/
Disallow: /favorites/
Disallow: /tags/
Disallow: /*page/
Disallow: /page/
Disallow: /2010/
Disallow: /2011/
Disallow: /statistics.html
Disallow: /*subaction=userinfo
Disallow: /*subaction=newposts
Disallow: /*do=lastcomments
Disallow: /*do=feedback
Disallow: /*do=register
Disallow: /*do=lostpassword
Disallow: /*do=addnews
Disallow: /*do=stats
Disallow: /*do=pm
Disallow: /*print
Disallow: /*userinfo
Disallow: /index.php?subaction=userinfo
Disallow: /index.php?do=pm
Disallow: /index.php?do=search
Disallow: /index.php?subaction=newposts
Disallow: /index.php?do=rules
Disallow: /rules.html
Host: tut-zadrotov.net
User-agent: Yandex
Allow: /
Sitemap: http://tut-zadrotov.net/sitemap.xml
Поправьте, если не так.
Согласен с вами.

Цитата
Александр пишет:
Во такой у Вас должен быть роботс.
Согласен с вами.
Александр, большое спасибо за помощь! Думаю в скором времени все вернется на свои места.smile:)
не шутите с файлом robots.txt а лучше почитайте  здесь - www.kapon.com.ua/str1.php
.
Изменено: fobos234 - 10 Апреля 2012 19:56
Не факт, посмотри у конкрентов ДЛЕшных. И в любом случае ссылочное не помешает.
Страницы: 1
Похожие темы:
Читают тему (гостей: 1, пользователей: 0, из них скрытых: 0)
Новые темыОбъявленияСвободное общение
22:32 Gambling Craft - гемблинг по белому 
15:35 Яндекс-ап 20 марта и похороны ChatGPT, Claude и Gemini. Считаем убытки 
14:07 AI под надзором. Минцифры готовят клеймо для контента 
00:12 XEvil - софт для разгадывания капчи. Бесплатная демо-версия. Привязка к SEO/SMM-софту. 
23:11 APK на паузе. Google убивает быстрый конверт 
16:58 MAX попер в бурж: 40 стран, ведение каналов и горы дешевого трафика 
15:38 LOSPOLLOS.COM - Конвертим по рецепту Хайзенберга. Dating, Mainstream, Binary Options 
08:01 HH.ru Работадателя вериф 
01:42 TUNNEL-to-PROXY: превращает тысячи публичных сетевых конфигураций - в стабильные SOCKS5-прокси! 
23:12 [MOBILE 4G/LTE PROXY] Приватные Мобильные Прокси 30 Дней 10$ Безлим/ Подходят для всех сайтов 
22:38 BestX24 - быстрый и безопасный обменник криптовалют и электронных денежных средств 
21:57 Volna.money 
16:32 Рассылки СМС/SMS, Вайбер/Viber, Ватсап/Whatsapp, Телеграм/Telegram любой тематики по всему миру 
15:49 Европейский эквайринг 
09:32 молодильные яблоки и живая вода 
09:22 Точные прогнозы на футбол 
09:17 Панель Кнопки соцсетей 
18:12 8 марта: желаю аптайма 99.9% и e-e-a-t без локов 
18:11 Чак Норрис ушел - 19 марта 2026, 86 лет, семья подтвердила 
17:28 С юмором по жизни! 
15:29 Компьютерная мышь