Многие вебмастера часто забывают тот факт, что цель всех поисковых систем заключается не в том, чтобы обеспечить сайтам высокие места в поиске и, как следствие, дать большой трафик, а в том, чтобы пользователи получили качественные и релевантные результаты поиска. Как показывает опыт, эти цели зачастую не совпадают. У поисковых систем есть множество критериев фильтрации сайтов, из-за которых многие ресурсы, порой вполне качественные и сделанные для людей, не попадают на первые места поиска, а часто и вообще исключаются из выдачи.

К сожалению, многие фильтры далеки от совершенства, поэтому под них попадают и вполне нормальные релевантные сайты, созданные для людей, и на которых на первый взгляд отсутствуют приемы, запрещенные правилами поисковой системы.

Самый главный фильтр – это бан, полное исключение сайта из индекса. Теоретическая обобщенная причина – нарушение лицензии поиска яндекса. Но реальных причин может быть множество, и далеко не все они очевидны на первый взгляд. Ситуация усугубляется тем, что нет открытых и четких "правил игры", а служба поддержки яндекса (Платон Щукин) крайне редко дает конкретные советы и уж точно никогда не указывает причин наложения бана.

Наиболее вероятная и распространенная причина – поисковый спам. Чаще всего встречающийся случай поискового спама это перенасыщенность страниц сайта ключевыми словами. Это может быть как умышленно, так и из-за незнания. Есть старое заблуждение, согласно которому чем больше плотность и количество ключевых слов на странице, тем лучше для позиций сайта. Эта "истина" неактуальна уже много лет. И не просто неактуальна, а еще и очень вредна.

Раньше был распространен прием заполнения мета-тегов различными ключевыми словами, в том числе не относящимися к тематике сайта, но являющимися популярными (секс, порно и т. п.). Вследствие этого влияние мета-тегов на поиск было минимизировано.

Итак, самые распространенные приемы внутренней оптимизации, которые яндекс может принять за поисковый спам и забанить сайт:

- банальное перенасыщение текста ключевыми словами и фразами. Чаще всего это бывает умышленно, человек пишет, высчитывает плотность, добавляет ключевые слова; в итоге получается, что плотность вроде и, теоретически, приемлемая, а текст получается нечитаемым. Иногда бывают случаи, когда автор сайта, увлекаясь темой, о которой он пишет, ненамеренно перенасыщает текст ключевыми словами. Поэтому после написания статью нужно обязательно вычитать, желательно вслух. А проверять плотность различными сервисами не стоит, это неинформативный показатель. Но есть и такие, кто по-прежнему считает, что плотность 5% - это залог присутствия в топе…

- публикация на страницах сайта списков ключевых слов. Было очень распространено несколько лет назад. Сейчас, к счастью, многие осознают бесполезность и весь негатив этого действия. Обычно эти списки размещаются внизу сайта, едва видным или вообще невидимым цветом, что, конечно, усугубляет ситуацию. Некоторые "продвинутые" вебмастера размещают их выше шапки и заголовков сайта, считая (опять же, следуя распространенному заблуждению), что чем выше находятся ключевики, тем больший от них эффект для продвижения. И получают заслуженный бан. Другие же используют современные методы верстки и размещают ключевики в div-ах, либо просто невидимых (display:none), либо со смещением за пределы экрана. Но робот смотрит код страницы, а из кода ключевики не спрячешь – поэтому такие методы неизбежно приводят к бану.

- публикация списков поисковых запросов. Обычно пишут "на наш сайт заходят по таким запросам" или "эту страницу можно найти в яндексе по запросам". Это классический вариант поискового спама! Так делать категорически нельзя. Некоторые движки позволяют делать это очень просто, отслеживая переходы с поисковых систем и автоматически выводя списки запросов, по которым посетители перешли на сайт. Эту функцию нужно сразу отключать. Или, в крайнем случае, закрывать эти блоки от индексации, а ссылки в них – от переходов по ним поисковых роботов.

- перенасыщенность ключевыми словами тегов и атрибутов title, h1-h6, alt, meta keywords, meta description и т. п. Не в количестве счастье! И даже наоборот – переспам может привести к бану.

- наличие на сайте страниц, созданных специально для продвижения по позициям и не содержащих полезной для посетителей информации, а также многочисленных страниц с перенаправлениями на другие ресурсы.

- наличие вообще любого скрытого текста, в том числе и со ссылками, созданного не для удобства использования, а для манипуляции результатами поисковой выдачи.

Признак бана – полное выпадение сайта из поисковой выдачи. Но не всякое выпадение однозначно является баном. Бывают ситуации, когда сайт просто вылетел из-за проблем с хостингом, из-за несовершенства алгоритмов яндекса, из-за ошибочного кода и т. п. Если вдруг сайт пропал из поисковой выдачи, нужно подождать 2-3 апдейта и, если сайт не вернется, написать в службу поддержки яндекса и вопросом о причине выпадения. И если ответ будет про нарушения на сайте – нужно эти нарушения устранить и снова написать им. Часто эти нарушения бывают неочевидными даже для самого вебмастера, так что переписка может затянуться. Если повезет, то служба поддержки намекнет на конкретную причину или даже прямо укажет на нарушения. Если нет, то нужно долго думать и внимательно анализировать сайт, желательно с привлечением сторонних специалистов.

Раньше бан от простого выпадения можно быть отличить, добавив сайт в addurl яндекса – он выдавал ошибку; сейчас это неактуально, все сайты добавляются туда без ошибки.

Другой, не менее популярный и не менее, если не более, опасный фильтр яндекса – АГС (иногда это название расшифровывают как АнтиГовноСайт). Основной симптом – в индексе остается от 1 до 10 (редко 30) страниц. И стандартный ответ службы поддержки – "Наши алгоритмы приняли решение не включать сайт в поиск. Развивайте сайт, и он вернется в выдачу". Причем этот ответ могут присылать даже тогда, когда сайт сменился, и робот новый сайт даже и не посещал, поэтому в саппорт нужно писать долго и активно, детально и без эмоций объясняя ситуацию.

Основной причиной этого фильтра (если речь идет о сайтах для людей, конечно) является дублирование контента внутри сайта. Практически все популярные движки создают страницы с одинаковым контентом – это могут быть страницы тегов, страницы разбивки по дням, месяцам и годам, страницы разделов с анонсами статей, содержащими фрагменты текстов самих статей и т. п. Логичнее, конечно, было бы исключить из поиска только дубли и оставить контент, но Яндексу, видимо, проще отфильтровать практически весь сайт, чем заниматься детальным анализом его структуры и содержимого.

Другие причины:

- сайт, состоящий на 100% из неуникального контента может попасть под АГС, если он не представляет собой ничего интересного для посетителей;
- "бредоконтент" - генерированные тексты, плохой синонимайзинг или авторерайт, автоматический перевод и т. п. Все такие сайты довольно быстро попадают под фильтр. Также под него могут попасть и сайты с безграмотными текстами.
- отсутствие контента на страницах сайтах или его очень малое количество. Впрочем, сайт, состоящий из одних только видеороликом и фотографий, может вообще не проиндексироваться.
- сайт, созданный под продажу рекламы. Если вебмастер не тратит время и силы на то, чтобы придать сайту "человекоподобный" вид, то такой сайт практически стопроцентно попадет под АГС.
- сайт, состоящий из исключительно "продажных" статей. Бытует мнение, что продажа ссылок это смерть для сайта, а вот продажа мест под статьи безопасна. На самом деле все наоборот – плохие статьи куда быстрее "убьют" сайт, чем разумная продажа ссылок, которая вообще безопасна.

Существует множество мифов и заблуждений по поводу АГС. Например (помните, это МИФЫ):

- если ссылок продано больше, чем страниц на сайте;
- если сайт прогнать по куче каталогов сразу;
- если у сайта низкая посещаемость;
- если сайт редко обновляется;
- если сайт построен на стандартном шаблоне;
- если на хостинге или на одном айпи много говносайтов и т. п.

Выйти из-под АГС крайне сложно, зачастую проще сменить домен. Можно попробовать закрыть все дубли, проверить сайт на уникальность контента и, если найдутся неуникальные статьи, заменить их новыми уникальными. Можно наполнить сайт большим количеством новых статей. Можно сменить структуру сайта.

Пессимизация – это отключение ссылочного ранжирования для конкретного сайта. Купленные и естественные ссылки перестают работать, и, как следствие, позиции резко падают. Падение обычно происходит на несколько сотен позиций, колебания в несколько десятков позиций обычно не связаны с наложенными на сайт санкциями. Все страницы сайта остаются в выдаче и находятся в поиске, но продвинуть на первые позиции его невозможно, так как не работает отключено влияние ссылочного ранжирования.

Основная причина – присутствие на сайте "ссылочных помоек", каталогов ссылок, не предназначенных для людей, а размещенных исключительно с целью манипуляции выдачей. К счастью, время больших немодерируемых каталогов ссылок на сайтах уже прошло, а было время, когда пессимизация косила многих.

Если вы решили регистрировать сайт в каталогах, то ни в коем случае нельзя размещать у себя обратные ссылки или баннеры на эти каталоги! Толку от них будет ровно ноль, а вот шанс попасть под пессимизацию очень ощутимый.

Вполне вероятна пессимизация за наличие большого числа продажных ссылок (в том числе и в статьях) – не стоит размещать их больше 4-5 на страницу.

Очень часто сайты пессимизируют за размещение слишком навязчивой и мешающей посетителям рекламы. Например, всплывающие окна или слишком большие количество тизеров на страницах. При пессимизации часто могут обнулить тиц.

Вполне возможно, что на смену пессимизации пришел фильтр "Ты последний", так как нельзя провести четкую грань между ними.

Фильтр "Ты последний" похож на Supplemental results в Гугле. Сайт пропадает из поиска, оставаясь проиндексированным. В поиске его можно найти только по уникальным фразам из текстов, которые на нем размещены, и даже по запросу, содержащему адрес сайта, он может быть не на первых местах. При этом поддержка яндекса отвечает, что ранжирование происходит нормально, в соответствии с его релевантностью.

Для сайта отключается как ссылочное ранжирование, так и влияние статического веса (внутренней перелинковки, в том числе). Как показывает опыт, основная причина – это неуникальный контент на сайте, который предназначен для заработка. Причем под "Ты последний" может попасть и первоисточник, у которого скопировали большую часть статей. В таком случае придется либо заменять ставшие неуникальными статьи, либо шерстить интернет и заставлять вебмастеров удалять копии.

Выйти из него можно лишь полностью сменив сайт, его структуру, дизайн и т. п.

Фильтр аффилиатов. Под него может попасть несколько сайтов, принадлежащих одной и той же компании, посвященных одной и той же тематике. Яндекс считает, что в топе должен быть только один сайт одной фирмы и, в теории, это правильно. Мало того, из-за некорректной работы этого фильтра с первых мест могут выпасть все сайты, а не все, кроме одного. Фильтр аффилиатов также касается и контекстной рекламы, директа – там тоже отслеживают рекламу аффилиированных сайтов.

Как и все фильтры яндекса, фильтр аффилиатов часто работает некорректно – некоторые компании занимают своими сайтами весь топ, а иногда бывает, что "склеиваются" сайты совершенно разных предприятий.

Сейчас не получается отлавливать сайты одной и той же фирмы ни по дизайну, ни по структуре… вебмастера умные и давно уже учитывают эти факторы. Даже на одной cms можно сделать несколько совершенно разных по структуре сайтов. Я уж не говорю про данные whois для доменов – их многие вебмастера делают разными, даже если сайты никак не связаны друг с другом.

Под него однозначно попадают партнерские сайты, которые созданы исключительно для перенаправления трафика на магазины или партнерки. Определить аффилиатов, помимо всего прочего, могут по пересекающимся семантическим ядрам сайтов.

Если есть необходимость продвинуть в топ несколько сайтов, то нужно их сделать максимально отличающимися друг от друга:

- whois, айпи;
- разные cms, дизайны, структуры сайтов;
- разные контакты, указанные на сайте;
- постараться сделать различными семантические ядра (кроме ключевых запросов);
- отсутствие взаимных ссылок между этими сайтами.

К сожалению, на данный момент нет достоверных способов определения этого фильтра, так как неизвестен сам алгоритм. Все это – лишь догадки.

Фильтр "Ты спамный". Официальной информации о его существовании нет, однако проявления его были замечены и классифицированы. Он накладывается не на весь сайт или домен, а на конкретную страницу по конкретному запросу. Вместо специально оптимизированной под данный запрос страницы выдается совершенно другая, намного менее релевантная.

Придуман он, как предполагается, для борьбы с "портянками" (как их иногда завуалировано называют "сео-текстами") - длинными текстами, насыщенными ключевиками, которые были созданы исключительно для продвижения страниц по запросам; польза их для людей была минимальной. Один из способов проверки попадания под фильтр "ты спамный" - ввести в поиск соответствующий запрос в измененной словоформе. Если в поиске (не обязательно на первых позициях) будет выдана нужная страницы, значит, она под фильтром. Можно также сделать поиск яндексом по своему сайту – если по нужному запросу продвигаемая страница не первая, значит, вероятно, на нее наложен этот фильтр.

Выйти из-под фильтра непросто. Нужно переписать весь текст, убрав спамность ключевика, переписав и оформив его для людей и вообще уменьшив его количество. Быть может, потребуется после этого сменить продвигаемую страницу, ее адрес.

Некоторые выделяют также разновидность фильтра, которая накладывается за "переспам" анкор-листа. Лечится его разбавлением. Скорее всего, при накладывании фильтра учитываются и внутренние факторы (поисковый спам на странице), и внешние факторы (переспам анкор-листа).

Непот-фильтр заключается в том, что вес ссылок с сайта (или, вероятно, с определенных его страниц) обнуляется. Причина – большое количество исходящих ссылок, продажных или обменных. Фильтр сайтов для взрослых (адалт-фильтр) накладывается, как понятно из названия, на сайты с эротическим или порнографическим содержанием. Причем эта эротика может быть не в самом контенте сайта, а в рекламе, особенно в тизерных блоках. Из-за таких тизеров самый приличный сайт может попасть под фильтр. Вывод – следует серьезно относиться к рекламе, размещаемой на сайте. Впрочем, были случаи наложения подобного фильтра за статьи про секс в медицинском или психологическом ключе…

Есть множество мифов и заблуждений, связанных с фильтрами яндекса.

Например, считается, что если сайт активно наращивает ссылочную массу, то он попадет в бан. Казалось бы, очень удобный способ валить конкурентов. К счастью, за это сайты не банят и не фильтруют. Нет также фильтра за редирект при помощи java-script – если сайт, конечно, не создан специально с целью перенаправлять трафик.

Многие думают, что неуникальные тексты не индексируются или же такие сайты сразу попадают в бан. Жаль, что они не сообразили пойти в выдачу и посмотреть, что там большинство сайтов не имеют уникального контента.