А исходя из чего вы сделали такой вывод.
На своём опыте могу сказать,что красивых девушек не избегаю.
А вот глупых избегаю,даже если она очень красива.
Но вообще,если поразмышлять. То,наверное, у человека создаётся ощущение,что 'что-то здесь не так",вот он и отстраняется,"опасливо выглядывая из-за угла".
Красивый человек - любимый человек.