У классической музыки более широкий динамический диапазон, чем у поп-музыки. Поэтому слушать ее лучше в тишине на хорошей аппаратуре или вживую. То есть, на такую музыку требуется выделять время и внимание, что может многих останавливать.
Еще для лучшего восприятия желательно иметь начальное понимание музыкальной теории, что есть не у каждого.
Также может отпугивать формат, где вместо привычных трехминутных песен с более-менее простой структурой могут быть часовые произведения.
Ну и прослушивание такой музыки взаимосвязано с изучением ее истории, жанров, что может быть не всем интересно.
Что значит "услышать живьем музыку не так просто"? В крупных городах регулярно проводятся концерты