Это, конечно, слишком общий вопрос. В каких-то конкретных случаях можно сказать, что прав тот или иной человек, и считается ли этот человек аудиофилом или нет - это еще ни о чем не говорит.
Но вообще есть такие моменты:
Музыка и звук - это удивительный мир, в котором человек может услышать множество разных деталей и нюансов. Наши уши слышат и анализируют звуки совсем не так, как это делают приборы, и чисто техническая характеристика звукового оборудования не является исчерпывающей. То есть да, можно оценить АЧХ, ФЧХ, количество и характер искажений - но это еще не все, что можно сказать о том, как на данном оборудовании будет восприниматься музыка. К тому же, не так просто людям сопоставить определенные технические изменения и изменения в восприятии.
Усилители и акустические системы состоят из множества компонентов. Они могут иметь разную архитектуру, производиться из разных материалов и разные элементы всего этого могут вносить свой вклад в то, как будет звучать музыка. Если кто-то пробовал делать музыку на одних мониторах, а потом слушать ее на другой акустической системе, тот может заметить как существенно меняется восприятие, как совсем другие детали вылезают на передний план, что-то звучит хуже, что-то лучше. На своей музыке это заметно сильнее, но и просто послушать знакомую музыку на разных акустических системах, с разными усилителями, в разных помещениях - то очень много можно услышать различий.
Динамические головки, фильтры, лампы, транзисторы, микросхемы, и главное - способы соединения всего этого, блоки питания, ну и провода (которые привлекают к себе особое внимание, как будто больше аудиофилов ничего не интересует). Все это так или иначе влияет. То есть, да, чаще всего нельзя услышать разницу между проводом из золотого плетения и супербескислородной меди в шелковой оплетке (я не знаю, может и можно, я не слушал сам :)), но вот разницу между нормальным проводом для акустики и телефонной лапшой услышать реально.
И тут главный момент для аудиофильства - у него нет потолка. То есть можно выбрать определенную конструкцию и улучшать у нее узлы, вкладывая туда более дорогие материалы и занимаясь немного техникой, а немного симпатической магией. Но когда нужно остановиться? С точки зрения продавцов - никогда, если покупатель хочет тратить кучу денег, то зачем его ограничивать - нужно дать ему такую возможность.
Другой момент - что и самого аудиофила ограничивает только его доход и его вкус и слух или их отсутствие. Если его кто-то будет критиковать за нерациональность - всегда можно сказать, что другие люди не слышат различий и ничего не понимают (а отчасти это действительно может быть так).
При этом, например профессиональная звуковая техника: мониторы, усилители, звуковые приборы - все это тоже слушается более развитыми ушами. Но уже ушами профессионалов - людей, у которых заработок зависит от того, как хорошо они слышат. И поэтому в этой области гораздо объективнее корреляция между качеством и ценой оборудования. Хотя профессиональная техника как бы не делается для удовольствия в чистом виде, а аудиофильская - да.