Вместо физкультуры там беготня по бесконечным коридорам и лестницам огромного замка. При отсутствии лифтов подъем из подземелий в башню Гриффиндора - неслабый воркаут. Если Хогвартс действительно такой, каким его описывают, паузы между занятиями должны быть минимум по 15 минут. А еще не представляю, как они успевают бегать на перемене в туалет, если туалеты там не на каждом этаже.
Да, квиддич не столько заменяет, сколько является аналогом уроков физкультуры. Об этом сказали только в первом фильме, но в книгах квиддич возникает периодически.