заголовок сервера Last-Modified. при его отсутствии учитывается разница в весе документа раннего и позднего взвешивания. т.е. снова заголовки или тупое взвешивание.

Цитата
Если время изменения файла страницы одно, а в файле sitemap другое. Что поисковые машины будут считать за истинное?

х.з. ... поидее мэп должен приоритет иметь по тегам

Код
<lastmod>date</lastmod>

т.к. есть такое понятие, как кэш.

Еще есть RSS, думаю при его наличии приоритет будет за ним для блого-ботов, бурнеров и прочих примочек. Скорее всего они взаимодействуют как-то с основным индексом

Грубо говоря вариантов несколько.

Первый: робот самостоятельно(сам выбирает когда ему ) забирает странички и определяет не изменилось ли содержимое отталкиваясь от заголовков. Т.е. есть какой-то интервал прохода по адресам, например, раз в 20 минут. Скажем бот грабит главную страницу каждые 20 минут, проверяет её содержимое, дальше переходит по новым ссылкам(если они появились).....

Второй: пинг сообщает о том, что содержимое(например карты сайта) изменилось, чем заставляет робота посетить определённые url или ставит их в очередь на проверку(зависит от характера ПС). Дальше бот тупо ходит оп прочитанным адресам из карты(как вариант).

Другие ....

RSS -- гуглите сами. Как и sitemap, по сути, только содержит еще и какое-то кол-во контента и другую сопутствующую информацию(анонсы например).

p.s.: а зачем вам рыть так глубоко? )