Решил собрать здесь так сказать варианты, почему именно выпадают страницы из-за которых напрямую зависит доход с сайтов.
Собирал (копипастил) с различных ресурсов.
*(самому было лень переписывать то что уже давно написано другими)
Основные причины выпадения сайтов из индекса
Не уникальный, а так-же нарушающий чье-либо авторское право контент (содержание сайта).
Не уникальный контент на вашем сайте может появиться не только в результате вашего воровства, но так-же в результате публикации третьими лицами сворованных у вас статей, при условии, что сайты ворюг имеют больший траст, чаще индексируются и поэтому поисковые системы могут не правильно определить первоисточник.
Если вы размещаете на своем сайте материалы нарушающие авторское право (видео, фотографии программы и т. д), то ваш сайт может быть исключен из индекса поисковых систем по жалобе тех кому эти материалы принадлежат на законных основаниях.
Кроме всего этого неуникальный контент можете создать вы сами собственноручно: некоторые блоговые движки, в частности вордпресс генерируют дубликаты одних и тех-же страниц доступные по разным адресам, которые можно запретить к индексированию при помощи robots.txt или добавив в раздел head страницы тег link с атрибутом rel="canonical" с указанием в нем адреса оригинала.
Еще одна причина почему страницы становятся не уникальны и могут выпасть из индекса: идентичная структура и содержание виджетов в сайдбарах на всех страницах при незначительном количестве основного смыслового контента. Не удивительно,что поисковики посчитают такие страницы мало-значимыми если более 50% их содержания идентично.
Слишком большое количество не тематических и "плохих" ссылок.
Чрезмерное увлечение продажей (размещением) не тематических ссылок так-же может стать причиной выпадения сайта из индекса. К примеру: кого может заинтересовать погода в харькове, читая статью о причинах выпадения из индекса, хотя я могу и ошибаться, ведь тем кто проживает в городе Харьков может вполне пригодится знание прогноза погоды и для них эта ссылка будет к месту. Особенно при малом возрасте, недостаточном трасте и малом количестве входящих ссылок на сайт, поисковики могут наказать его за ссылочный спам (link farming).
Так называемые "плохие" внешние ссылки: ссылки на забанненные, находящиеся под фильтрами, подозреваемые в мошенничестве или в каком-либо другом нарушении законодательства сайты.
Переоптимизация и черное сео
Поисковый спам, то есть перенасыщение страницы ключевыми словами, в особенности теми которые могут не иметь никакого отношения к основному содержимому страниц.
Наличие на страницах скрытого текста, видного только поисковым системам и другие применяемые черные методы продвижения.
Взлом сайта, умышленное исключение из индекса или внедрение вредоносного кода.
Еще одной причиной выпадения (отсутствия сайта в индексе) может стать его взлом (получение несанкционированного доступа к сайту) и как результат или умышленное исключение его из индекса, или внедрение в сайт вредоносного с точки зрения поисковых систем кода.
Отсутствие доступа к сайту
Случайная ошибка допущенная при редактировании файлов robots.txt или .htaccess может запретить индексирование или доступ поисковым ботам на сайт, что приведет к выпадению его страниц из индекса этих поисковых систем.
Проблемы, падения или сбои в работе сайта из-за хостинга на котором размещен сайт тоже могут послужить причиной, по которой его страницы не смогут быть проиндексированы, а следовательно исключены.
Помнится был такой случай, когда сервера одного хостера подверглись жестокому DDOS-у, они включили автобан для всех IP, с которых будут приходить на 404 страницы, в том числе под бан попали и поисковые боты, а обнаружилось это только после массового постепенного выпадения страниц из индекса.
Благо все оперативно исправили и страницы вернулись в индекс. Вот такие вот бывают случаи.
Еще немного кописпаста
Самaя распространенная причина выпaдения сайта из индeкса заключается в проблeмах на хостинге (речь идёт про нормальные сайты а не sape-сателиты). Некачественный хостинг можeт просто «лежать» в тот момeнт когда приходил поисковый бoт. Робот пришел, смотрит, а сaйта нету, берет и выкидывает его из индекса. Это я конечно утрированно говорю, но суть примерно тaкая. Бороться с этим можнo одним путем – переносить сaйт на нормальный хостинг и писaть письмо в службу поддержки ПС. Черeз некоторое время сайт вернется в индекса.
Вторая причинa выпадения сайта из индeкса в последнее время сталa набирать популярность – воровствo контента. Сейчас развелось много урoдов которые без зазрения совести тырят контент с сaйтов. Воруют (копипастят) и вeшают на свои сайты (сателиты, доры, сплоги и прoчую нечисть, а когда и нa нормальные сайты – что гораздо хужe). Ссылку на источник конeчно же ни кто не ставит. Бываeт так, что ваш тeкст быстрее индексируется нa чужом сайте, а не на вашем. И в «глазах» ПС получается что это нe у вас украли, a вы. За неуникальный контент сайты выпадают из Яндексa или пессимизируются (понижаются в рeзультатах выдачи). Проверить свои статьи на уникальность лучшe всего методом введения в качествe поискового запроса куска текста с сaйта (например целое предложение)
И ее немного
) Технические факторы:
Ошибки в базе данных поисковых систем. База данных поисковых систем расположена на множестве серверах. Причем страницы одного и того же сайта могут находиться на двух и более серверных машинах. Периодически происходит ситуация, когда документы, расположенные на одном из серверов, не пропадают из индекса. В этом случае необходимо подождать следующего апдейта (обновления) базы поисковой системы, и пропавшие страницы вновь вернутся в индекс;
Недоступность сервера. Если по каким-либо причинам страница будет недоступна в тот момент, когда поисковый бот будет обходить сайт, то эта страница может выпасть из индекса. После возобновления работы сайта нужно вновь направить бота на данную страницу, чтобы он ее проиндексировал и внес в базу поисковой системы.
2) Факторы некачественного продвижения
АГС. Это специальный фильтр Яндекса, который отсеивает некачественные, по его критериям, сайты, удаляя их из собственной базы. Чтобы проверить, настиг ли ваш сайт этот фильтр, нужно попробовать добавить непроиндексированную страницу в форму добавления в панели вебмастера. Если система примет страницу для индексации, значит фильтра нет;
Семейный фильтр. У поисковых систем Яндекс и Google есть специальный фильтр, который исключает из поиска страницы, на которых размещены адалт материалы («для взрослых»). Кроме того, причиной наложения фильтра могут быть и размещенные на обычном сайте баннеры, тизеры или ключи тематики «для взрослых»;
Бан сайта. Наиболее серьезная ситуация. К нему могут привести запрещенные методы продвижения. Такие, как: клоакинг (информация, выдаваемая посетителям отличается от той, которая предлагается поисковым роботам), невидимый текст, редиректы (автоматическое перенаправление посетителей на другие сайты), скрытые и многократное повторяющиеся теги H1 и strong, обилие неуникального контента, нетематический обмен ссылками.
Таким образом, если продвигаемые страницы на сайте стали пропадать из индекса, следует в первую очередь проанализировать работу сайта: были ли отключения сервера, профилактические работы на хостинге, и так далее. После этого нужно подождать один-два апдейта поисковой базы. И если ничего не изменилось, то писать в техподдержку поисковика, которая уже сообщит, наложен ли какой-то фильтр или, еще хуже, сайт забанен.
Подведем небольшой итог - причины выпадения страниц немало, избежать этого помогают следующие вещи:
Уникальный (уникализированный) контент в достаточном количестве на странице сайта ( от 2К знаков на странице). Прогоны свежих страниц по соц закладкам и пингбэк оных для ускорения индексации + качественный хостинг, тематические ссылки как доноров так и акцепторов.
Успехов вам всем.
Собирал (копипастил) с различных ресурсов.
*(самому было лень переписывать то что уже давно написано другими)
Основные причины выпадения сайтов из индекса
Не уникальный, а так-же нарушающий чье-либо авторское право контент (содержание сайта).
Не уникальный контент на вашем сайте может появиться не только в результате вашего воровства, но так-же в результате публикации третьими лицами сворованных у вас статей, при условии, что сайты ворюг имеют больший траст, чаще индексируются и поэтому поисковые системы могут не правильно определить первоисточник.
Если вы размещаете на своем сайте материалы нарушающие авторское право (видео, фотографии программы и т. д), то ваш сайт может быть исключен из индекса поисковых систем по жалобе тех кому эти материалы принадлежат на законных основаниях.
Кроме всего этого неуникальный контент можете создать вы сами собственноручно: некоторые блоговые движки, в частности вордпресс генерируют дубликаты одних и тех-же страниц доступные по разным адресам, которые можно запретить к индексированию при помощи robots.txt или добавив в раздел head страницы тег link с атрибутом rel="canonical" с указанием в нем адреса оригинала.
Еще одна причина почему страницы становятся не уникальны и могут выпасть из индекса: идентичная структура и содержание виджетов в сайдбарах на всех страницах при незначительном количестве основного смыслового контента. Не удивительно,что поисковики посчитают такие страницы мало-значимыми если более 50% их содержания идентично.
Слишком большое количество не тематических и "плохих" ссылок.
Чрезмерное увлечение продажей (размещением) не тематических ссылок так-же может стать причиной выпадения сайта из индекса. К примеру: кого может заинтересовать погода в харькове, читая статью о причинах выпадения из индекса, хотя я могу и ошибаться, ведь тем кто проживает в городе Харьков может вполне пригодится знание прогноза погоды и для них эта ссылка будет к месту. Особенно при малом возрасте, недостаточном трасте и малом количестве входящих ссылок на сайт, поисковики могут наказать его за ссылочный спам (link farming).
Так называемые "плохие" внешние ссылки: ссылки на забанненные, находящиеся под фильтрами, подозреваемые в мошенничестве или в каком-либо другом нарушении законодательства сайты.
Переоптимизация и черное сео
Поисковый спам, то есть перенасыщение страницы ключевыми словами, в особенности теми которые могут не иметь никакого отношения к основному содержимому страниц.
Наличие на страницах скрытого текста, видного только поисковым системам и другие применяемые черные методы продвижения.
Взлом сайта, умышленное исключение из индекса или внедрение вредоносного кода.
Еще одной причиной выпадения (отсутствия сайта в индексе) может стать его взлом (получение несанкционированного доступа к сайту) и как результат или умышленное исключение его из индекса, или внедрение в сайт вредоносного с точки зрения поисковых систем кода.
Отсутствие доступа к сайту
Случайная ошибка допущенная при редактировании файлов robots.txt или .htaccess может запретить индексирование или доступ поисковым ботам на сайт, что приведет к выпадению его страниц из индекса этих поисковых систем.
Проблемы, падения или сбои в работе сайта из-за хостинга на котором размещен сайт тоже могут послужить причиной, по которой его страницы не смогут быть проиндексированы, а следовательно исключены.
Помнится был такой случай, когда сервера одного хостера подверглись жестокому DDOS-у, они включили автобан для всех IP, с которых будут приходить на 404 страницы, в том числе под бан попали и поисковые боты, а обнаружилось это только после массового постепенного выпадения страниц из индекса.
Благо все оперативно исправили и страницы вернулись в индекс. Вот такие вот бывают случаи.
Еще немного кописпаста
Самaя распространенная причина выпaдения сайта из индeкса заключается в проблeмах на хостинге (речь идёт про нормальные сайты а не sape-сателиты). Некачественный хостинг можeт просто «лежать» в тот момeнт когда приходил поисковый бoт. Робот пришел, смотрит, а сaйта нету, берет и выкидывает его из индекса. Это я конечно утрированно говорю, но суть примерно тaкая. Бороться с этим можнo одним путем – переносить сaйт на нормальный хостинг и писaть письмо в службу поддержки ПС. Черeз некоторое время сайт вернется в индекса.
Вторая причинa выпадения сайта из индeкса в последнее время сталa набирать популярность – воровствo контента. Сейчас развелось много урoдов которые без зазрения совести тырят контент с сaйтов. Воруют (копипастят) и вeшают на свои сайты (сателиты, доры, сплоги и прoчую нечисть, а когда и нa нормальные сайты – что гораздо хужe). Ссылку на источник конeчно же ни кто не ставит. Бываeт так, что ваш тeкст быстрее индексируется нa чужом сайте, а не на вашем. И в «глазах» ПС получается что это нe у вас украли, a вы. За неуникальный контент сайты выпадают из Яндексa или пессимизируются (понижаются в рeзультатах выдачи). Проверить свои статьи на уникальность лучшe всего методом введения в качествe поискового запроса куска текста с сaйта (например целое предложение)
И ее немного
) Технические факторы:
Ошибки в базе данных поисковых систем. База данных поисковых систем расположена на множестве серверах. Причем страницы одного и того же сайта могут находиться на двух и более серверных машинах. Периодически происходит ситуация, когда документы, расположенные на одном из серверов, не пропадают из индекса. В этом случае необходимо подождать следующего апдейта (обновления) базы поисковой системы, и пропавшие страницы вновь вернутся в индекс;
Недоступность сервера. Если по каким-либо причинам страница будет недоступна в тот момент, когда поисковый бот будет обходить сайт, то эта страница может выпасть из индекса. После возобновления работы сайта нужно вновь направить бота на данную страницу, чтобы он ее проиндексировал и внес в базу поисковой системы.
2) Факторы некачественного продвижения
АГС. Это специальный фильтр Яндекса, который отсеивает некачественные, по его критериям, сайты, удаляя их из собственной базы. Чтобы проверить, настиг ли ваш сайт этот фильтр, нужно попробовать добавить непроиндексированную страницу в форму добавления в панели вебмастера. Если система примет страницу для индексации, значит фильтра нет;
Семейный фильтр. У поисковых систем Яндекс и Google есть специальный фильтр, который исключает из поиска страницы, на которых размещены адалт материалы («для взрослых»). Кроме того, причиной наложения фильтра могут быть и размещенные на обычном сайте баннеры, тизеры или ключи тематики «для взрослых»;
Бан сайта. Наиболее серьезная ситуация. К нему могут привести запрещенные методы продвижения. Такие, как: клоакинг (информация, выдаваемая посетителям отличается от той, которая предлагается поисковым роботам), невидимый текст, редиректы (автоматическое перенаправление посетителей на другие сайты), скрытые и многократное повторяющиеся теги H1 и strong, обилие неуникального контента, нетематический обмен ссылками.
Таким образом, если продвигаемые страницы на сайте стали пропадать из индекса, следует в первую очередь проанализировать работу сайта: были ли отключения сервера, профилактические работы на хостинге, и так далее. После этого нужно подождать один-два апдейта поисковой базы. И если ничего не изменилось, то писать в техподдержку поисковика, которая уже сообщит, наложен ли какой-то фильтр или, еще хуже, сайт забанен.
Подведем небольшой итог - причины выпадения страниц немало, избежать этого помогают следующие вещи:
Уникальный (уникализированный) контент в достаточном количестве на странице сайта ( от 2К знаков на странице). Прогоны свежих страниц по соц закладкам и пингбэк оных для ускорения индексации + качественный хостинг, тематические ссылки как доноров так и акцепторов.
Успехов вам всем.
