Вообщем такая беда:в ЯВМ робот исключил 812 новостей в теме "Документ запрещен в файле robots.txt" прошел по многим ссылкам которые он исключил они все есть.Я как-то лазил по движку и файлу robots.txt по очень умным советам на одном блоге(алиев вроде)может че-то накосячил,но после уже менял движок с dle 9.5 на 9.6,меня еще смущает что исключины страницы разные,то есть даты публикации между  ними достигает до 4-5 месяцев!Кто подскажет как исправить?
ХЕЛП...