Имеется сайт, я не заметил когда перестали индексироватся страницы, но у меня сайт стал на значении 447 страниц (проиндесированных)..вот уже чуть ли не 10-ый апдейт, а у меня 447 страниц... Хотя статьи я добавляю каждый день.. Я давненько поставил DonBot модуль, который по сути должен был убрать дубли (он все убрал) но я не помню когда его установил Вроде все страницы, которые не надо закрыты дублем, а полные новости открыты.. в гугле все индексируется, а в яндекс не хочет..  Хотя раньше все индексировалось за 24 часа..
  Также имею второй сайт, на нем тоже поставил DonBot, и страницы тоже не индекируются.. хотя я сомневаюсь что проблема в модуле, но наверное в нем.. Да, я пробывал ускорить индексицию и купил 10 твиттов с быстро-роботом на страницы, но они не попали в индекс.. также писал Платону, ответ:
Благодарю Вас за примеры страниц. Они уже известны роботу. По мере обхода сайта они будут проиндексированы и с последующими обновлениями поисковых баз смогут появиться в поиске. О том, как помочь нашему роботу быстрее индексировать сайт, Вы можете прочитать на странице нашей Помощи: http://help.yandex.ru/webmaster/robot-workings/helping-robot.xml .
Вы также можете ускорить процесс индексирования наиболее необходимых Вам страниц роботом, добавляя их непосредственно через форму "Сообщить о новом сайте": http://webmaster.yandex.ru/addurl.xml . В этом случае они будут проиндексированы и должны появиться в результатах поиска в течение 2 недель.
Все это перепробовал, ждал две недели, пробывал твиттером загнать, ничего не получилось и sitemap обновлял..это ответ оптисали по шаблону.. 
Очень много страниц не в индексе, сайт палить не хочу...
В модуле я отметил (прикрепил скриншот)
А в роботсе стоит: 
User-agent: *
Disallow: /engine/classes/highslide/graphics/
Disallow: /engine/download.php
Disallow: /engine/
Host: ыыы
Sitemap: http://ыыы/sitemap.xml