Индексирует только категории

Индексирует только категории, Яша индексирует только категории, а сами новости никак

Сообщений: 49 Регистрация: Апр 2010

30 Июня 2010 13:43

Вот возникла проблема с индексацией сайта . Дело в том что Яша индексирует только категории причем бывает что на одни и те же стоит несколько ссылок в поисковике, а вот сами новости ну никак не хочет. Писались письма Платону на что получал стандартный ответ мол "Ждите и Ваш сайт обязательно проиндексируется"
Правда был грешок по неопытности торговал ссылками на Сапе причем активно, но уже 3 месяца как полностью все убрал из-за этого наверняка мой сайт попал под фильтр.
Посоветуйте какие действия нужно предпринять, что сделать, что убрать, нужны конкретные предложения.

Изменено: dewara - 30 Июня 2010 13:43

http://bukvasha.ru/

Dizzy

Сообщений: 2729 Регистрация: Мар 2010

30 Июня 2010 15:06

Домен случайно не в бане?

Яндекс 19
Google 355 / 9 %
Рамблер 14,000

Изменено: Dizzy - 30 Июня 2010 15:08

dewara

Сообщений: 49 Регистрация: Апр 2010

30 Июня 2010 15:29

Нет не в бане. Я пробовал удалять из я.вебмастер и добавлять на другую учетную запись все нормально. Если бы был в бане то добавить его не удалось бы. Или я неправ????

Dizzy

Сообщений: 2729 Регистрация: Мар 2010

30 Июня 2010 15:41

Цитата
User-agent: Yandex Disallow: /user Disallow: /2010 Disallow: /page Crawl-delay: 2 Host: dewara.ru User-agent: * Disallow: /user Disallow: /page Disallow: /2010 Host: dewara.ru Sitemap: http://dewara.ru/sitemap.xml

Заменить на

Цитата
User-agent: * Disallow: /user Disallow: /page Disallow: /2010 Host: dewara.ru Sitemap: http://dewara.ru/sitemap.xml

vagant-ua

Сообщений: 1223 Регистрация: Июн 2010

30 Июня 2010 16:59

Цитата
Dizzy пишет: User-agent: * Disallow: /user Disallow: /page Disallow: /2010 Host: dewara.ru Sitemap: http://dewara.ru/sitemap.xml

Вопрос. А разве тег Host понимают другие поисковики, кроме Яндекса?
Мне казалось, что он нужен только для него... сам недавно на грабли наступил.

Добавил тег Host в хвост и...
User-Agent: *
Disallow: /cart.php
Disallow: /sort.php
Disallow: /search.php
Disallow: /pages.php
Host: www.адрес_сайта

Через некоторое время заметил, что Гугл начал "доставать" из фильтра страницы такого вида и добавлять их в свою выдачу
www.мой_сайт/cart.php?act=add&product=

Обсуждалось здесь на форуме - ветка "с www или без".

Мне даже сказали, что "Это по всем правилам конгломерат и так делать по идее нельзя."
Или я ошибаюсь?

Выпиливаю лобзиком один сайт. Смотреть можно, руками трогать нельзя - он еще хрупкий и ранимый... :)

vagant-ua

Сообщений: 1223 Регистрация: Июн 2010

30 Июня 2010 17:23

И ещё вопрос (хочется разобрать этот случай для себя).

А что пишет Яндекс Вебмастер
Страниц в поиске сколько?
Загружено роботом сколько?
Исключено роботом сколько?

Dizzy

Сообщений: 2729 Регистрация: Мар 2010

30 Июня 2010 18:22

Цитата
Вопрос. А разве тег Host понимают другие поисковики, кроме Яндекса?

Кто принимает - тот скушает. Кто не принимает - проигнорирует.

Цитата

Добавил тег Host в хвост и...
User-Agent: *
Disallow: /cart.php
Disallow: /sort.php
Disallow: /search.php
Disallow: /pages.php
Host: www.адрес_сайта

Через некоторое время заметил, что Гугл начал "доставать" из фильтра страницы такого вида и добавлять их в свою выдачу
www.мой_сайт/cart.php?act=add&product=

Переформулируй вопрос.

Цитата
Мне даже сказали, что "Это по всем правилам конгломерат и так делать по идее нельзя."

Я даже знаю кто. smile:)

Цитата
А что пишет Яндекс Вебмастер Страниц в поиске сколько? Загружено роботом сколько? Исключено роботом сколько?

Я откуда знаю что он там тебе пишет?

dewara

Сообщений: 49 Регистрация: Апр 2010

30 Июня 2010 18:27

Что касается вопроса vagant-ua
страниц в поиске 19 - (кстати перед этим два месяца было всего лишь 10 и никакого сдвига, а сейчас просто одни и те же категории несколько раз в выдаче если наберете в яше site:dewara.ru то сами уведите )
Загружено роботом 172
Исключено роботом 133
Яндекс у меня совсем редкий гость на сайте, хотя я ежедневно в ручном режиме добавляю свой сайт в каталоги, доски объявлений и тому подобные.
С robots.txt я тоже игрался по разному попробую еще и такой вариант как предложен выше, но не уверен что проблема в этом

vagant-ua

Сообщений: 1223 Регистрация: Июн 2010

30 Июня 2010 18:36

Цитата
dewara пишет: Загружено роботом 172 Исключено роботом 133

Вот интересно, смотрел Ваш sitemap - там дофуя страниц и все вроде вменяемые, а вот Яндекс большую часть исключает, оставляет всего 39 (172 - 133).

У меня например вот так
Загружено роботом - 160
Исключено роботом - 55
Смотрю исключенные роботом и вижу - Документ запрещен в файле robots.txt
Все страницы запрещены правильно - имеют вид
/cart.php?act=add&product и т.д. и т.п.

В Вашем же случае исключено 133 страницы. Какие, почему?
Посмотрите в Яндекс Вебмастере.

vagant-ua

Сообщений: 1223 Регистрация: Июн 2010

#10

30 Июня 2010 18:42

Цитата

Dizzy пишет:

Цитата

Добавил тег Host в хвост и...

User-Agent: *
Disallow: /cart.php
Disallow: /sort.php
Disallow: /search.php
Disallow: /pages.php
Host: www.адрес_сайта

Через некоторое время заметил, что Гугл начал "доставать" из фильтра страницы такого вида и добавлять их в свою выдачу

www.мой_сайт/cart.php?act=add&product=

Переформулируй вопрос.

Это был не вопрос. Просто указал, что такого вида запись в файле robots.txt привел к таким результатам, а именно, Гугл начал игнорировать исключения (Disallow). Только мой личный пример, и не более...

Dizzy

Сообщений: 2729 Регистрация: Мар 2010

#11

30 Июня 2010 18:45

vagant-ua, сори не заметил твой ник думал пишет автор

vagant-ua

Сообщений: 1223 Регистрация: Июн 2010

#12

30 Июня 2010 19:22

Вдогонку.

В Яндекс Вебмастере есть раздел "Анализ robots.txt".

Он там явно пишет, что относится к нему. Приведу мой пример
Из всего списка, а именно

Цитата
User-Agent: * Disallow: /cart.php Disallow: /sort.php Disallow: /search.php Disallow: /pages.php User-Agent: Yandex Disallow: /cart.php Disallow: /sort.php Disallow: /search.php Disallow: /pages.php Host: www.сайт

Яндекс отнес к себе только строки 7-12
User-Agent: Yandex
Disallow: /cart.php
...
Host: www.сайт

Предполагаю, что в Вашем случае он просто не видит секцию

Цитата
User-agent: * Disallow: /user Disallow: /page Disallow: /2010 Host: dewara.ru Sitemap: http://dewara.ru/sitemap.xml

И не может зачитать sitemap.xml

Ведь его секция выглядит так

Цитата
User-agent: Yandex Disallow: /user Disallow: /2010 Disallow: /page Crawl-delay: 2 Host: dewara.ru

Хотя причина может быть и не в этом...

dewara

Сообщений: 49 Регистрация: Апр 2010

#13

30 Июня 2010 19:35

Уважаемый vagant-ua в я.вебмастер исключены страницы только те что прописаны в робот.тхт.
Только что поменял робот.тхт на тот что советовал Dizzy посмотрим что получится

vagant-ua

Сообщений: 1223 Регистрация: Июн 2010

#14

30 Июня 2010 19:47

Цитата
dewara пишет: Уважаемый vagant-ua в я.вебмастер исключены страницы только те что прописаны в робот.тхт.

Понял, "умываю руки". Напомню только еще раз про функцию "Анализ robots.txt". После того как Яндекс зачитает новый вариант файла robots - гляньте плз. Ради спортивного интереса, как он поймет такого вида запись.

Далее остается уповать на "помощь зала"...

vagant-ua Сообщений: 1223 Регистрация: Июн 2010	#15 30 Июня 2010 20:04 Продолжая анализировать Я.Вебмастер. Также там есть раздел "Файлы Sitemap" Я лично свой "руками" прикрутил именно там (а не в файле robots). Тоже информативная штука. Там есть раздел "Ошибки и замечания". У меня лично баги вида "Некорректный URL (не соответствует местоположению файла Sitemap)". Почти весь Sitemap (100 позиций). Гляньте там.

Похожие темы:

27.08.2022 16:15	В поиске яндекса только главная страница и никак не хочет индексировать новый сайт
02.03.2019 07:28	Нет трафика с Яндекса (только с картинок немного)
25.05.2018 07:27	Сайт не индексируется Яндексом
19.03.2018 17:22	Переезд сайта на новый домен. Сайт не индексируется. Нужен совет!
06.10.2017 04:40	Установлен запрет индексирования но сайт индексируется

Читают тему (гостей: 1, пользователей: 0, из них скрытых: 0)

Новые темы	Объявления	Свободное общение
17:28 01.02. Апдейт 31.01 // Chrome готовит "чёрную метку" для ИИ? 17:18 Трафик пробил дно? Худший январь за 10 лет и внезапный рост продаж с Bing 17:05 Гугл официально убивает клики: кнопка "Show more" теперь открывает чат на весь экран вместо сайтов 17:00 Дзен окончательно всё? Или у кого-то еще «стреляет» белый контент? 16:53 "The web is a dynamic place". Мюллер ответил по шторму 30 января (лучше б молчал) 16:31 Плагин ответа 12:29 РСЯ и тормоза сайта: Яндекс начал штрафовать за плохой PageSpeed?	16:37 BIGPROXY.SHOP - Резидентные Ротационные Backconnect Proxy USA EUROPA MIX [Безлимитный трафик] 16:10 CryptoGraph — Анонимный обмен криптовалют без KYC и AML 15:45 Продам аккаунты Gmail USA IP \| Gmail MIX IP \| Outlook Old 11:21 Trustpilot Reviews \| Подниму рейтинг вашей компании 11:19 №1 Рассылка / Инвайтинг [TELEGRAM] \| Приватный метод 11:16 Продвижение YouTube видео в топ поиска \| Любой тип контента \| Гарантия результата 11:15 Продвижение сайта: [SEO-трафик][Вывод в ТОП][Крауд-маркетинг + SEO]	18:23 Осталось 3-5 месяцев до блокировки YouTube в России, — заявил Клименко 17:02 Gartner обещал смерть SEO к 2026 году. Открываем метрику и проверяем 11:50 [AI] Бот за $600к советовал есть сыр с крысами. Нью-Йорк его (наконец-то) снес 08:25 Отвратительное поведение 05:31 Точные прогнозы на футбол 11:00 Кто может дать инвайт на WebMasters? 17:58 Список обновленных тем пуст...