Это не совсем так. Очевидно, что "казённый дом" в своём первоначальном смысле значит "построенный и содержащийся за счёт казны, государства". К "казённым домам" принадлежали и детские дома, и интернаты, и больницы, и даже просто служебные помещения, квартиры, предоставляемые на время службы чиновникам и другим государственным подчинённым.
Но мы, увы, живём во времени, в котором государством в полной мере обслуживаются только тюрьмы(вряд ли заставишь заключённых платить за проживание). Поэтому и понятие сузилось, не меняя при этом своего принципиального смысла.