Именно потому, что мы расставляем события на шкале времени в направлении самоорганизации материи, в том числе и самоорганизации наших мыслей. Что значит "от ... к ..." в вашем вопросе? Что в один момент мысль о произошедшем ещё не появилась, а в другой уже добавилась к другим нашим мыслям, и именно поэтому второй момент мы считаем более поздним. Стрела времени нигде в природе физически не нарисована и гвоздями не прибита, это феномен нашего восприятия. В том направлении, которое мы называем будущим, материя более самоорганизована, чем в прошлом. Этот процесс самоорганизации диссипативных структур (то есть усложнения при рассеивании энергии) подробно исследовал Пригожин.
Короче говоря: наше восприятие хода времени связано с усложнением нашей мысли, а наша мысль, будучи электрохимическим процессом в мозгу, усложняется по тем же законам, что и остальная материя - по ходу диссипации энергии.