Потому что несовместим тип характера. Потому что некоторые действуют подавляюще, заставляют Вас чувствовать себя некомфортно. Если Вам угодно выбросить термин энергетического вампиризма из своего словаря - нет проблем; но получение удовольствия от действий, которые негативно влияют на эмоциональное состояние другого человека это не что иное как вампиризм (или паразитизм).
Кстати, существует даже книга М. Литвака "Психологический вампиризм" где на примерах описаны шаблоны поведения этих самых "вампиров" и как избегать или парировать атаки.