Le musée est la seule partie du château qui se visite. Mentionné dès 1215, celui-ci domine la cité. Fortement endommagé lors du tremblement de terre de 1511, il est rénové fin XIXe siècle, lorsque les Ursulines l’achètent. Les ailes du château sont élargies et rebâties, la tour centrale qui se trouvait dans la cour est rasée. Le bâtiment sert d’internat pour jeunes filles et d’hôpital militaire pendant la Première Guerre mondiale. La culture obtient ses droits à partir de 1959 avec la création du musée.
Celui-ci présente des pièces archéologiques, des dentelles et des pains d’épices (saint Nicolas mais aussi le Diable) de Škofja Loka et ses environs, détenteurs d’une longue tradition. Des œuvres du peintre Ivan Grohar (1867-1911), grande figure de la peinture slovène, y sont exposées ainsi que des reproductions de fresques médiévales et du mobilier. La chapelle baroque abrite les autels de l’église de Dražgoše, détruite.