Изначально под "матерью" подразумевалась Мать-Земля, а полностью ругательство звучало как "Чтоб пёс *б твою мать". Ругательство это встречается также в венгерском и немецком языках. С течением времени матерное выражение сократилось до двух слов. Гораздо более подробно о русской обсценной лексике и конкретно о данной фразе можно прочесть здесь: ec-dejavu.ru