Мне, все же, кажется, что это пошло от ругательства "твою мать" и от других восклицаний экспрессивных, связанных с матерью :) Просто различной степени допустимые вариации.
Мать честная. Мать моя женщина. Матерь Божья. Мама миа. Мама родная.
А из вариаций ближе к отцам или мужчинам лично у меня в голове только Батюшки светы, Батюшки мои.
еще есть "отче наш"
минусуйте
Полное звучание фразеологизма "Мать моя женщина, отец мужчина", "Мать моя женщина" сокращения.
Это вроде как "Кто старое помянет тому глаз вон, а кто забудет оба", люди используют лишь первую часть.
или как "Везет как субботнему утопленнику в рыбный день" (Рыбный день - среда)