Очередная личная война с Яндексом превращается в тему форума. Есть два варианта: не советовать воевать, а  пожелать ТС расстаться с некоторой тысячей страниц, тем более, что их там тьма тмущая и вряд ли все они релевантны для ПС. Второй вариант: кто-то останется недопонятым, подумает, что специалистов здесь нет, и сделает по-своему, как и раньше. Мое ИМХО: согласиться с Я. и не морочить свою светлую голову.

ПРОДОЛЖЕНИЕ
Крепко я тогда призадумался над словами Платона. Как же так, думаю,
1. полтора года как на индексируемом сайте не существует источника ошибок;
2. алгоритмы ЯЯ не способны распознавать некорректно оформленные ссылки;
3. за полтора года алгоритмы ЯЯ не способны нормально (адекватно) проиндексировать сайт;
4. алгоритмы ЯЯ не способны считывать информацию файла sitemap, который был впервые загружен в декабре 2009 года, имел статус ОК и содержал до 500 страниц;
5. и как же мне исправить не существующие ссылки...
Пришлось повышать квалификацию, доработать строки в htaccess чтобы сервер отрабатывал не существующие ссылки.
А вот с остальным "картина" не складывалась.
Допустить, что в ЯЯ работают неумехи-программисты - я допустить не мог, как очень глупое.
И тогда появилась гипотеза, которая многое объясняла и, со временем, я все более утверждаюсь в ее реальности.
ГИПОТЕЗА: Яндекс НАМЕРЕННО не поддерживает порядка в индексной базе.
Зачем? За тем, чтобы заставить народ платить деньги. Первый вариант лежит на поверхности, официальный - загнать народ в Директ. Второй - неофициальный (не в смысле денежных расчетов, а в смысле того что не разглашается) - через "раскрутчиков" у которых результатом работы считается выведение сайта по каждому отдельному ключевому запросу в топ10 Яндекс и расчет идет за позицию в день.
Именно для второго варианта важна неразбериха в индексной базе. А для того, чтобы народ сильно не возмущался, делаются апы, которые на самом деле "мутят" индексную базу.
Можно поделиться еще примерами о чудесах Яндекса, но это будет уже перебор для данного форума.
Я думаю, можно навести порядок в Яндексе, было бы желание - желание не быть, не становиться Яндекс-проституткой. 
P.S.
если вам надо, чтобы сервер отрабатывал адреса наподобии "domen_name/file_name.php/" как ошибку, привожу здесь строки для файла htaccess (ВНИМАНИЕ, СКРИПТ УДАЛИЛ ИЗ ПУТИ h_t_t_p://):
-------------------
RewriteEngine On
RewriteCond %{PATH_INFO} ^/.+ [NC]
RewriteRule ^(.*)$ domen_name/файл_страницы_ошибки.php [G=410,L]
RewriteRule ^(.*)\.html/$ domen_name/файл_страницы_ошибки.php [G=410,L]
RewriteRule ^(.*)\.php/$ domen_name/файл_страницы_ошибки.php [G=410,L]
------------------

Цитата
Васька пишет: за полтора года алгоритмы ЯЯ не способны нормально (адекватно) проиндексировать сайт;

Реальный опыт.6 месяцев. 
1-2 Месяц - Индексация почти всех статей. 
3-4 Месяц - Заход и выход из АГС  - Месяв.
5-6 Месяц - Все страницы в Индексе, поступление новых - 1 час - Максимум. 

Цитата
Васька пишет: 4. алгоритмы ЯЯ не способны считывать информацию файла sitemap, который был впервые загружен в декабре 2009 года, имел статус ОК и содержал до 500 страниц;

Ну, так обнови.

Цитата
Васька пишет: Яндекс НАМЕРЕННО не поддерживает порядка в индексной базе.

Кого он там удерживает? Твой ГС? Который ни кому не нужен? 
Или покажи того у кого отличный сайт, и он не проиндексирован. 

Цитата
Васька пишет: Зачем? За тем, чтобы заставить народ платить деньги. Первый вариант лежит на поверхности, официальный - загнать народ в Директ.

Директ увеличивает Индексацию?  =)

Цитата
Васька пишет: За тем, чтобы заставить народ платить деньги.

Тебя хоть раз Яндекс просил деньги? Есть хоть где ни будь написанно, что безденежное продвижение - Является хуже чем денежное? 
Естественно, что уместиться в ТОП10 "Москва - Диван" Все не могут - Но это конкурентный комерческий запрос, и тут как и в телевизоре, на концерте надосках объявлений - Приимущественно берут деньги. 
Но не только деньги - А и ещё правильное их использование. 
Можно сливать и 1000000000000 рублей на ссылки, но ни когда топ 10 не увидеть. 

Цитата
Васька пишет: Именно для второго варианта важна неразбериха в индексной базе. А для того, чтобы народ сильно не возмущался, делаются апы, которые на самом деле "мутят" индексную базу.

Апдейты - Не спорю, бывают ужасными, с Вылетами в Топ10 ГСов. Но это исправляется к след апу, а то и через день. 

Цитата
Васька пишет: Можно поделиться еще примерами о чудесах Яндекса, но это будет уже перебор для данного форума.

Да, пожалуй этого не хватает "Примеров" =) Примеров пожалуйста, и фактов, я Вас умоляю!=) 

Цитата
Васька пишет: Я думаю, можно навести порядок в Яндексе, было бы желание - желание не быть, не становиться Яндекс-проституткой.

Какое? =) Незаходить в Яндекс? =) 

У меня была подобная ситуация - я случайно поставил ссылку на страницу с слэшем в конце. Яндекс все это проиндексировал, но когда я исправил ссылки все встало на свои места.У Яндекса свои причины мутить или не мутить базу, выводить ваш сайт в топ или нет, а так же куча способов заработать денег на своих посетителях. В конце концов сайт Яндекс раскручивался в рунете как-то сам и занял свое место в топ 10 самых посещаемых сайтов. Так что можно и без поисковика раскрутить свой сайт, в принципе... Я не слышал, чтобы ВКонтакте, Одноклассники или Майл где-то писали, что их Яндекс забанил. Им глубоко на это ... Они и без ЯЯ живут.
Поэтому, если вас не устраивает, как вас индексирует Яндекс - забейте и раскручивайте сайт другими способами, если сможете!

Цитата
Васька пишет: давайте закроем тему

как пожелаете.