есть задача: требуется определить ссылки, которые являются источником для поисковых ботов. сейчас они бегают чаще по внутренним страницам (до пяти раз в день), а вот на главную страницу заходят всего один-два раза. хотя большинство ссылок указывают именно на главную.