Данное выражение «вышло» из охотничьей среды. В давние времена люди верили в то, что злые духи сопутствуют человека в его начинаниях и, чтобы они (духи) не строили козни, их нужно задобрить определенным ритуалом или присказкой. Изначально, когда человек отправлялся на охоту, ему говорили: «Пусть твои стрелы летят мимо цели, пусть расставленные тобой силки и капканы останутся пустыми, так же, как и ловчая яма!» На что охотник бойко отвечал: «Пошел к черту». Позже выражение упростилось до «ни пуха (зверь), ни пера (птица)». Считалось, что при прямом пожелании удачи, то есть «и пуха, и пера», исход охоты можно сглазить, поэтому прибегали к своего рода лексической инверсии.