Думаю, просто потому, что большинству людей физика неинтересна. Легче всего понимать и осваивать то, что вам интересно. Труднее всего - то что неинтересно. Для истинных интеллектуалов не существует неинтересных тем. Поэтому такие люди могут разбираться хорошо и в физике и, например, в искусстве.
Другой момент состоит в том, что для понимания физики и математики необходим действительно высокий интеллект. Даже не высокий балл теста IQ, а именно что высокий интеллект. Вы можете выучить что угодно, освоить любую специальность, не обладая высоким интеллектом, просто за счёт вашей дисциплинированности и трудолюбия. Любую кроме физики и математики. Одним только трудолюбием физику и математику не выучишь. Здесь нужны мозги. Нужно уметь оперировать понятиями и категориями на высоких уровнях абстракции. Нужно быть способным к различным формам высшей мыслительной деятельности. Это чистая правда
Потому что людей, склонных к науке, меньшинство. Человечество накопило немало знаний, и практически невозможно быть специалистом во всех областях знаний. Вообще, иметь особые способности к чему-либо - это значит быть талантливым человеком. По определению это редкое качество.