Изучение физики в университете, сама подача материала, сильно отличается от школьного курса. Материал даётся более последовательно, математический аппарат уже на другом уровне. Вполне возможно, что и проблем у Вас с этим не будет. В качестве подготовки можно повышать свой математический уровень по высшей математике (матанализ). Но мои личные наблюдения показывали, что выпускникам спецшкол, знающих физику и математику выше среднего, легко было только в первом семестре, когда проходили то, что они частично уже изучали. После первой сессии различия в начальном уровне исчезают.