Цитата
Jaguar пишет: А теперь он стал огромный, тут еще и группы прибавились, и все надо индексировать. Сделали бы аддурилку платную, добавил, заплатил и страница уже в индексе.

Насколько он огромный стал что роботы не справляются с индексом даже в течении суток? В 20 раз? 

 Ну давай смотреть логически. Сколько может браузер открыть страниц в 1 минуту? 
Ну возьмем примерно 200 страниц. 
200 страниц = 1 минута времени. 
Но, сюда вкладывается ещё работа Графического модуля. 

Если открывать текстовые блокноты, то примерно в минуту уже можно открыть около 500 документов. 
Перекачать информацию, из каждого, займет не так уж и много времени так как информация текстовая, и мегабайтами она не весит. 

Но, качает и сканирует инфу явно не один и тот-же робот. 

Структура наверное продуманная, и делится примерно вот так. 

1.) Смотрит\ищет\сообщает. 
2.) Получает сообщение\идет туда\сканирует только то о чем сообщили\отправляет на сервер. 

Соответственно - Время которое робот тратит на поиски, сокращается до минимума, плюс проверка многих сайтов занимает щитанные секунды из-за низкой массы содержания. 

Учесть что средний процессор способен выполнить 2.300 действий за 1 секунду. 
То, получается что поисковой робот на отличном компьютере сможет делать около 5.000+ действий в секунду, удалив отсюда все графические нагрузки, скорость сканирования 1 сайта, будет равняться скорости изменения секундного числа на электронных часах... =) 

Залечил я однако... 
Все выше сказанное - Личное ни кому не нужное мнение. 
Ни чем не подтвержденное и оспорить его можно за минуты. 
Но, мне почему-то кажется что роботы работают очень быстро. 
И все что им требуется - Встреча хотя бы с одной нашей ссылкой, и вуаля сайт проиндексирован. 
Но, тут ещё требуется и встреча с ссылкой на анкету Яру. 

Цитата
Jaguar пишет: Что за анкета?

Анкета на Я.ру  - Пропиши в Google.

Цитата
Jaguar пишет: Проиндексирует несколько страниц сайта и пойдет на другие, постарается не забыть попозже заскочить еще разок.

Хм, но он будет знать что инфы там предостаточно. 
А значит забегать туда будет. 
В крайнем случае проиндексит всю карту сайта и выйдет.

http://www.cy-pr.com/forum/f21/t27382/?PAGEN_1=10
Тут ребята твердят что Она твитер заменяет!!!