Почему с возрастом все сложнее определять возраст других людей?

Потому что время поддается очень жесткой инфляции. 

Если коротко, то:

1. С каждым годом мы стареем все быстрее, следовательно, чувствуем течение времени намного быстрее. Для наглядности - в самом начале пути наш первый год кажется нам 100% нашей жизни. То есть этот год самый длинный. А в 90 лет инфляция окажется настолько велика, что год в эти десятки будет казаться нам часом в самый первый год.

У Стивена Кинга есть потрясающая книга "Мой милый пони". Про деформацию и инфляцию можно почитать там. 

Это была предпосылка. 

2. Так как вопрос заключается в сложности определения возраста, но копнем в наше детство. В детстве наше окружение в большей части своей составляло одну массу детей примерно одинакового возраста. Поэтому мы на подсознательном уровне знали их возраст. Но с возрастом окружение менялось. И те дети одного возраста развивалась совершенно по-разному и через некоторое время выглядели совершенно на разные возраста. 

Поэтому мы непроизвольно составляем картину из всей этой солянки в голове и формируем стереотипный образ человека, к примеру, 21 летней девушки. И если наша картина не совпадает с тем, что мы видим - то мы приходим в замешательство. 

А с возрастом этих картин становится все больше и больше, количество людей, которых мы видели становится огромным. И из всего этого многообразия так трудно выделить верное значение. Потому что процесс старения у всех разнообразен. Процесс перехода в юношеский период тоже как правило индивидуален. 

А из п.1 можно легко уловить логическую цепочку. Плюс восприятие у каждого человека свое. Просто так мы устроены и ничего с этим нельзя сделать.

Не согласна, дети и даже подростки почти не различают разницы между скажем 40-летним и 50-летним, а уж в градации по возрасту после 60, видимо, кажется им вообще бессмысленной. Одна сплошная масса "стариков". Кстати, а вы сами можете легко отличить 75- от 85-летнего?