Потому, что мы чертовы эгоисты.
Нам важны только наши ощущения, эмоции и состояния.
Для того и погружаемся в воспоминания, чтобы ощутить ещё раз. И скучаем по собственным впечатлениям. А на другого человека нам плевать. Он всего лишь инструмент для того, чтобы мы могли перейти в нужное состояние (избежать нежелательных состояний).
Потому что важна сцена в которой присутствует данный человек, это может быть сцена радости или гнева, а так запомнить телосложение человека, его вид, не так интересно вспоминать