Скорее всего за долгие годы нахождения в обществе в вашем подсознании сформировались определённые стереотипы. И когда вы в одиночестве хотите произнести фразу, то не осознавая этого оцениваете, как отреагировали бы другие люди и если эта фраза для других покажется оскорбительной, то вам становится стыдно, потому что мысленно вы произнесли эту фразу в кругу людей.
Вродебы всё написал, если где ошибся, то прошу простить и поправить.