A casa que abriga o Museu Caldas Junior foi construída por volta de 1820. Está próxima do local tido como marco inicial da cidade, que no inicio do século XIX já tinha um bom núcleo populacional. O primeiro morador da casa foi o Alferes Francisco Xavier da Luz. Em 1826, pernoitou na residência o Imperador D Pedro I, de passagem pela cidade. Em 1872 tornou-se residência da família Caldas, fundadora do Jornal Correio do Povo. A casa foi desapropriada pela administração municipal para a instalação do Museu Antropológico Caldas Junior, na década de 80 passou por reformas e abriu suas portas em definitivo ao público em 14 de outubro de 1982.

O prédio do Museu está situado na Cidade Alta, uma área que concentra as edificações mais antigas da cidade, conservando ainda sua estrutura inicial, com espessas paredes externas de pedra, barro e cal, e internas, de pau-a-pique. A cobertura apresenta telhado com beiral e telhas cerâmicas tipo capa-e-canal, características das construções luso-brasileiras do período colonial. Muitas esquadrias foram preservadas – externamente, janelas de guilhotina com caixilharia de vidro e postigos - e internamente, portas de duas folhas, com bandeiras fixas, caixilhos e vidros transparentes. Os pisos são de taboas largas, e o forro de madeira, em alguns cômodos tipo saia-e-camisa. A declividade do terreno permitiu a inserção de uma porão na parte posterior da edificação, sob o compartimento correspondente à cozinha, onde o antigo fogão foi reconstruído com tijolos e barro.  A fim de atender às necessidades do Museu, foi construído um anexo de dois pavimentos junto ao prédio original. No pátio ao fundo do terreno, observa-se a palmeira imperial doada por D. Pedro I quando passou pela cidade. Os espaços internos foram ocupados por mobiliário e objetos do acervo, que representam a vida das famílias quando da construção da edificação. Peças confeccionadas por indígenas da região, assim como quadros que contam a trajetória de Caldas Júnior, entre outros objetos, também fazem parte do acervo.

Foram tombadas as paredes externas e internas do prédio inicial do Museu; a cobertura; as esquadrias – caixilhos, postigos, bandeiras – marcos, e molduras; forros, soleiras e pisos e todos os elementos remanescentes do prédio original; o terreno onde está inserido.