Les membres de la famille Mu furent chefs de tribu (gouverneurs) pendant de nombreux siècles. Ils gouvernèrent la région de Lijiang et étaient en charge de collecter les impôts pour la cour impériale des Yuan jusqu'aux Qing.
Après 60 ans de travaux, la résidence de la famille Mu fut enfin finie en 1442. S'étendant sur 6 hectares et comprenant une centaine des bâtiments, le géographe Xu Xiake la compara alors à la Cité Interdite de Pékin. Sous le royaume des Naxi, le palais était entouré de magnifiques jardins composés de rares spécimens floraux.
Mais, laissée à l'abandon après le déclin de la famille Mu et entièrement détruite lors d'un tremblement de terre en 1996, la nouvelle construction ouverte à la visite n'est qu'une pâle copie de son ancienne version.
Après les dommages causés par le tremblement de terre de 1996, les banques mondiales se sont mobilisées pour rénover la résidence de la famille Mu et essayer de lui rendre son apparence d’antan, le tout en utilisant des matériaux régionaux.
Les nouveaux bâtiments de la résidence, adossée à la Colline du Lion, sont donc un tourbillon architectural. C'est un mélange, à la fois de l'architecture tibétaine, han et naxi mais aussi bai, le tout au milieu de jardins fleuris d'azalées et d'orchidées. Le complexe est construit selon l’art chinois du fengshui (géométrie taoïste qui consiste à harmoniser l’énergie environnante). Ainsi, les bâtiments s’étendent depuis le centre sur 369m de long d'ouest en est.
Dans l'une des bâtisses de la résidence de la famille Mu sont exposées les coutumes et la culture de l'ethnie Naxi. En parcourant les allées et jardins du site, on peut facilement s’imprégner des cultures locales qui ont jadis vécu à l’intérieur de ses murs.
L’arche commémorative de la famille Mu : Cette sculpture en pierre montée sur trois niveaux est l’une des architectures les plus remarquables de Chine.
Grande salle de réunion (de conseil) : Cette salle très spacieuse était le centre des discussions politiques pour le Tusi Mu, le chef de tribu.
La bibliothèque aux milles ouvrages : Ses murs renferment des milliers de sutras Dongba (la croyance religieuse des Naxi), une centaine de sutras Dazang, six collections de poèmes et de nombreuses peintures et calligraphies.
La colline du Lion et sa forêt de cyprès : Cet espace était autrefois un lieu de sacrifices dédiés aux ancêtres de la famille Mu. Le sommet de la colline offre une vue imprenable sur les toits de la vieille ville de Lijiang.