Google очень медлителен, что касается реакции на robots. Ждите, все будет. У меня стоит запрет на индексацию фида комментариев. 3 месяца соображал что б поисключать их.

Цитата
Koschun пишет: Google очень медлителен, что касается реакции на robots

Не согласен. За 2 дня 70 страниц выкинул

Если речь идет про скорость индексации новых ссылок, то особо тут тупит яндекс. Если у проекта нет ТИЦа, будет индексировать дольше. Гугл в этом плане пошустрее. Если речь идет про скорость учета новых ссылок, то здесь  дела такие. Гугл спустя три месяца прибавляет новые ссылки к тем, что уже у вас есть. Т.е если сейчас у вас 200 ссылок учтено, а вчера куплено было 50. То только через три месяца вы получите 250 учтенных ссылок. И весь вес от тех 50 штук в полную силу прибавят по истечении квартала. В вашем же случае с учетом изменений роботса переживать не нужно. Такие файлы не предназначены для частых обновлений. Поэтому в течении месяца все изменения будут учтены. Часто не вносите в него изменения. А то будете ждать по месяцу каждый раз.

Цитата
Влад Мищенко пишет: День добрый! Вопрос такой: файлы закрытые в роботсе вылезли в выдаче, а именно страницы page 1...2....3 и т.п

если они закрыты в роботсе то щас надо их вручную удалить https://www.google.com/webmasters/tools/crawl-access?hl=ru&siteUrl=http://site.ru/&tid=removal-list

доступ для сканнера ->удаление url