Почему слово "олень" считается оскорбительным по отношению к человеку? Ведь это красивое, благородное животное.

Вероятно, это ироничный эвфемизм слову "козел". Туда же можно отнести и слово "лось" - тоже, собственно, животное красивое, но эпитет оскорбительный.

Возможны и другие версии. Так, в некоторых молодежных сленгах 80-х гопников называли "роги" или "рогатые" - и вся эта филологическая фауна пошла оттуда.