Потому что наш мозг привык работать в режиме, все что слева - это слева, все что справа - это справа. И реагирует (даёт сигналы ногам и рукам) соответствующе. Но мозг можно обмануть, проводились эксперименты с очками, где реальность была зеркальной. Всё что слева оказывалось на правой стороне и наоборот. После пары недель мозг перестраивался и человек с такими очками мог спокойное ездить на мотоцикле по городу.
Мало того, самым распространенным экспериментом, чтобы обмануть мозг, были тесты с очками, которые переворачивали реальность с ног на голову. И мозг привыкал к такой реальности намного быстрее (иногда за пару дней).
Кстати, то что мы видим на самом деле, без каких либо экспериментов - это два раза перевёрнутый мир, сначала наши глаза "переворачивают", то что мы видим, а затем мозг ставит всё на место.