Правила этикета это не регламентируют. Так что тут всё зависит от Вашего личного комфорта: Вам жарко - снимите, у Вас плохая причёска под головным убором и Вы стесняетесь - не снимайте :)