Потому что человек зверь общественный, а взгляд "глаза в глаза" носит во всех смыслах интимным характер.
По данным МРТ исследований прямой взгляд активирует больше участков мозга, чем взгляд "вскользь". По данным другого исследования зрительный контакт с незнакомцем усиливает активность автономной нервной системы у взрослых людей.
Если вдуматься, человеческий зрачок находится в постоянном движении, - он считывает информацию, донося её до мозга. Окружающие нас объекты, названия улиц и вывески, сигналы светофора - все это ориентиры, необходимые для маневрирования в человеческой среде, и когда взгляд незнакомца останавливается на вашем лице, не сложно догадаться что в фокусе восприятия этого человека находитесь именно вы. Возможно, это смущает так же как и прицел объектива уличного фотографа, если такое сравнение уместно.