Сколько читаю нигде не встречал описания работы робота паука. Насколько я понимаю понимания этого, даст толчек к осознанию сроков индексации и распределения уникального и неуникального контента.
Вопрос: Как происходит сравнение контента с уже существующим и скажем если переделать статью на уник как робот это узнает и обновит инфу??