Идём в гугл.
Существует несколько вариантов появления этого фразеологизма. Первый относится к 135 году нашей эры. Именно в то время в древнем городе Эфесе (Турция) с образовательной целью была построена очень большая по тем временам библиотека Цельсия. Здание было не только интересно своей красотой, величественностью и внутренним убранством, но и наличием огромного количества свитков. Так уж случилось, что этот Храм Просвещения соседствовал с публичным домом, который был соединен с библиотекой подземным ходом. Даже в те времена не все мужчины хотели афишировать свои любовные похождения и поэтому, заходя в библиотеку, иногда поворачивали налево в неприметную дверцу и попадали в другое заведение. Поэтому замужние женщины никогда не могли быть точно уверены в том, где именно проводят свободное время мужья, не смотря на их кажущуюся благопристойность.
Второй вариант возникновения фразы появился на Руси очень много лет назад. Именно тогда изба делилась на две половины. В правой проживали мужчины, а в левой половине обитала прекрасная половина человечества. Собственно туда и стремились зайти мужчины, имея свой особый интерес.
Кроме того во время богослужений женщины и мужчины всегда стояли в разных местах. Мужчины занимали правую половину храма, а женщины, соответственно, левую.
Еще один вариант толкования этой фразы относится к христианству, по которому считается, что на правом плече у человека сидит ангел-хранитель, а именно на левом – дьявол. Поэтому пойти налево обозначало принять сторону искусителя, совершить что-то грешное. А измена, как известно, всегда осуждалась религией. Слово «правый» на многих языках мира имеет значение «хороший», «правильный», а «левый» обозначает «неполноценный», «слабый». Вот и получается, что ходить налево обозначало сделать что-то предосудительное, нехорошее, шагнуть навстречу нечистому.
Попробую предположить. По правилам кавалер (мужчина) всегда ходил слева от дамы. Дело в том, что на левом боку у него висела шпага и чтобы она не била по ногам дамы было принято такое правило. Соответственно "от дамы", "на сторону" он уходил налево.