https://dic.academic.ru/dic.nsf/dic_synonims/382365/твою
https://itakstr.ru/kak-pishetsya-tvoyu-zh-mat/
Это не мат. Мата здесь нет. Очень даже вполне себе литературное выражение и встречается не часто, но есть. По ссылкам имеются примеры, не стала копировать.
Кстати, часто продолжение - за ногу. Так что никакого мата нет. Ну каждый по мере испорченности добавит, разумеется, свою версию. У меня вот такая.
Ну, это ведь сокращение от грубого «ёб твою мать», и само оно стоит в ряду со всеми ругальствами, связанными с матерью. Таких много :)) В данном случае просто матное слово часто опускается.