Недавно решил сделать эксперимент насчёт яндекса. Создал сайт на юкозе (домент 3-го уровня), начал его прогонять по своей базе трастовых сайтов, подождал 2 недели, дальше прогнал сайт по 7000 каталогам опять подождал 2 недели и прикупил домен, поставил редирект из старого на новый, также в рботсе указав за хост новый сайт. Прошло всего 3-5 дней и уже быстробот залез на сайт.  Так что я вычислил теорию прихода быстробота.