Прежде чем, зайти на страницу выдачи по поисковой фразе, пользователь оценивает содержимое тайтла и серпа на соответствие искомого. Раз Ваш документ показался, значит, он релевантен и соответствует введенным параметрам. И будет соответствовать до тех, пока пользователь не покинет выдачу или не введет другой запрос в рамках заданной тематики.
В корреляцию не попадают единичные случаи. При периодической заинтересованности одним запросом, в силу вступают факторы естественного отбора. Это касается не только времени проведенным на странице, переходов внутри сайта, возврат к выдаче и просмотр других документов, а также обращение к другим страницам поиска.
При регулярной частотности факторов повторения, будь то уход по другой внутренней ссылке, быстрый выход и возврат в выдачу, более длительная задержка на другом сайте, после закрытия вашего и др. Будут провоцировать ПС на внесение изменений в выдачу и не обязательно с изменением позиций:
Во первых, может быть пересмотр  смены релевантности страницы, в рамках заданного сайта.
Во вторых, подключение персональной выдачи.
В третьих, при явной смене запросов, формирование новой подсказки.
При средних показателях поведения пользователей для всех документов, т.е. разница в смене позиций будет минимальна. Но, если обобщенный процент позитивных (негативных) показателей документа подтверждается естественным поведением пользователей, то для ПС это сигнал к принятию действий.