Яндекс закрыл страницы от индексации
Страницы: 1
Яндекс закрыл страницы от индексации
Здравствуйте уважаемые форумчане. Столкнулся с такой проблемой, что Яндекс исключил из поиска страницы категорий под трактовкой HTTP-статус: Ресурс не найден (404) но в этот пункт попали все страницы категорий, то есть категории на сайте вообще не индексируются. Движок сайта DLE,
robots.txt у меня такой:


Код
User-agent: *
Disallow: /engine/
Disallow: /user/
Disallow: /engine/go.php
Disallow: /engine/download.php
Host: sait.ru
Sitemap: sait.ru/sitemap.xml

Цитата

Код
Оптимизацию делал по Алаичу, поэтому в engine.php у меня так
Код
$do == 'addnews' OR /* Страница добавления новости с сайта */
    //$do == 'alltags' OR /* Страница просмотра списка тегов */
    $do == 'feedback' OR /* Страница формы обратной связи */
    $do == 'favorites' OR /* Страницы закладок пользователей */
    $do == 'lastcomments' OR /* Страница просмотра всех последних комментариев на сайте, в т.ч. комментариев отдельного пользователя */
    //$do == 'lastnews' OR /* Страница просмотра всех последних новостей */
    $do == 'lostpassword' OR /* Страница восстановления пароля */
    $do == 'pm' OR /* Страницы личных сообщений пользователей */
    $do == 'register' OR /* Страница регистрации нового пользователя */
    $do == 'rules' OR /* Страница правил сайта */
    $do == 'stats' OR /* Страница статистики сайта */
    $do == 'search' OR /* Страница поиска и результатов поиска */
    //$do == 'static' OR /* Все статические страницы */
    //$do == 'tags' OR /* Просмотр новостей по тегу */
    $do == 'xfsearch' OR /* Просмотр новостей новостей по доп. полям */
    $subaction == 'allnews' OR /* Просмотр всех новостей пользователя */
    $subaction == 'newposts' OR /* Просмотр непрочитанных новостей для пользователя */
    //$subaction == 'showfull' OR /* Просмотр полной новости */
    $subaction == 'userinfo' OR /* Просмотр профиля пользователя */
    //$dle_module == 'date' OR /* Просмотр архива новостей за год/месяц/день. Заменяет собой сразу все три следующие строки */
    //($year != '' and $month == '' and $day == '') OR /* Просмотр архива новостей за год */
    //($year != '' and $month != '' and $day == '') OR /* Просмотр архива новостей за месяц */
    //($year != '' and $month != '' and $day != '' and $subaction == '') OR /* Просмотр архива новостей за день */
    //(intval($_GET['cstart']) > 1 ) OR /* Любые страницы пагинации */
    //($dle_module == 'main' and (intval($_GET['cstart']) > 1)) OR /* Страницы пагинации для главной страницы */
    //($do == 'cat' and $category != '' and $subaction == '' and (intval($_GET['cstart']) > 1)) OR /* Страницы пагинации только для категорий */
    //($do == 'cat' and $category != '' and $subaction == '') OR /* Просмотр любой категории */
    //($do == 'cat' and $category_id == 'X' and $subaction == '') OR /* Просмотр определенной категории. X заменить на id категории */
    $catalog != 'engine' /* Просмотр каталога по буквенному идентификатору */
    ) $metatags .= <<<HTML
также в Яндекс есть графа "не поддерживаемый формат"
а там у меня почему то попал /sitemap.xml потому что якобы неверный формат документа

раньше таких проблем не было, в чем может быть беда? ну кроме моей криворукости))
Изменено: Владислав Лебедев - 30 Марта 2015 10:05
Цитата
Владислав Лебедев пишет:
Оптимизацию делал по Алаичу
Херня это! Сделайте нормальный роботс как рекомендует яша и не парьтесь и будет вам счастье!
Абузоустойчевые сервера; адалт, кино ЗДЕСЬ | Белая ВидеоРеклама для любых сайтов!
Цитата
Юрий Павлов пишет:
Херня это! Сделайте нормальный роботс как рекомендует яша и не парьтесь и будет вам счастье!
Поддерживаю
Не знаю кто такой Алаич, но посоветовал бы больше никогда не делать как он
Спасибо, понял, исправил, посмотрим что будет)
Цитата
Владислав Лебедев пишет:
Спасибо, понял, исправил, посмотрим что будет)
Проверьте новый роботс что у Яши с Гошей нет претензий к нему.
Страницы: 1
Похожие темы:
Читают тему (гостей: 1, пользователей: 0, из них скрытых: 0)
Новые темыОбъявленияСвободное общение
14:07 2Index - быстрая индексация страниц сайта и обратных ссылок 
12:02 Webvork - международная товарная СРА сеть с сертифицированными офферами на Европу. 
22:23 Подскажите нормальный сервис накрутки ПФ 
09:57 3snet - гемблинг, беттинг, форекс, бинарные опционы, майнинг 
19:33 LOSPOLLOS.COM - Конвертим по рецепту Хайзенберга. Dating, Mainstream, Binary Options 
15:12 Несколько статей хорошо выдаются в Гугле, но отвратительно в Яндексе 
13:40 Dao.AD: Монетизация и покупка Push/Pops/Inpage и Video трафика! 
15:26 TETChange-Обменник криптовалют 
12:28 AlwaysMoney - платформа для обмена криптовалют 
01:35 - Вечные ссылки с трастовых сайтов 2024 проверен FastTrust 
22:30 SOCKS5 приватные прокси на 30 дней для PayPal 
22:29 Google Voice аккаунты для бесплатных SMS и звонков 
22:29 PayPal аккаунты для любых целей 
20:15 Belurk — высокоскоростные анонимные прокси от 0,24 рублей 
16:49 monetizer.agency – рекламная сеть для взрослого и развлекательного трафика. 100$ новому вебмастеру 
20:43 Добро пожаловать в цифровой мир... 
15:59 Про мясо 
23:09 ПП от PMS remote.team - 200$ за команду 
13:28 Компьютерная мышь 
22:55 Ну что, кто куда деваете свои сайты? 
22:34 Используете беспроводные наушники?