В чем, помимо программирования, нужно разбираться для создания виртуального мира?

Виртуальная реальность – довольно обширное понятие. Необходимые навыки зависят от конкретной задачи.

Шлем виртуальной реальности. Опять же зависит от поставленной задачи. Если вы хотите сделать вариант для личного использования, то вот, например, подробная статья на geektimes - https://geektimes.ru/post/258658/.

Если вы хотите создать конкурентный продукт: на данный момент на рынке изобилие гарнитур виртуальной реальности. Большой популярностью пользуются такие кардбоарды, как Google Cardboard (и его различные аналоги). Преимущества – низкая цена, совместимость с любым смартфоном, простота в использовании. Гарнитуры «следующего уровня» - например, Oculus Rift или Samsung Gear VR. Если Oculus Rift остается довольно дорогим продуктом, то покупатели смартфонов Samsung получают Gear VR (преимущества - регулировка фокусного расстояния, наличие интерфейса от Oculus, комфортный дизайн) почти бесплатно. Конкурировать в такой среде будет довольно проблематично. Очевидно, что над данным продуктом трудилась команда оптиков, программистов, инженеров и дизайнеров.

Возможно, данная подборка поможет вам определиться с тем, в какой сфере вы хотите работать и какие навыки вам необходимы:

1) Обзор виртуальной реальности от Unity. Обратите внимание на последний пункт «VR Reading List», где собрано большое количество полезного материала. https://unity3d.com/ru/learn/tutorials/topics/virtual-reality

2) Хороший он-лайн курс «Microsoft Virtual Academy» (разработка приложений виртуальной реальности на платформе Microsoft) - https://mva.microsoft.com/ru/training-courses/-microsoft-14573?l=ikwfIhjqB_5205192797

3) Обзор технологий «видео 360» и бинаурального звука - https://geektimes.ru/post/250496/

4) Если вас интересует создание «видео 360» для виртуальной реальности, то полезным будет курс от Kolor -https://www.youtube.com/playlist?list=PL556E6EE590A546A9

5) Пример обработки «видео 360» - https://habrahabr.ru/post/279739/

6) Важно следить за инновациями и разработками, поэтому рекомендую вам посмотреть материалы на Youtube канале IVRPA (International VR Photography Association) - https://www.youtube.com/channel/UClYxlgOLi0-CqeqKt6r_v6w. Среди спикеров конференции – эксперты Google, Kolor, GoPro, NCTech и др. Полный список выступлений доступен на сайте только для участников ассоциации.