Это зависит от целей. Эгоизм забота о себе в ущерб другим (за их счёт).
Если цель именно такая, то тогда они правы.
Если он самодостаточен (или стремится к этому) не за счёт других , тогда именно эти люди, называющие его эгоистами и есть таковы сами. Поскольку истинная цель такого их поведения есть манипулирование сознанием этого человека с целью удержать его в ловушке (своём подчинении). И скорее всего именно эти люди являются паразитами для него. А он просто избавляется от них.
См. Мультипликационный фильм «Добро пожаловать!»
https://www.youtube.com/watch?v=JP9yJruL7Ek
С точки зрения "пассажиров", сбросив рога лось поступил, как эгоист.