C'est l'empereur Kangxi qui fit construire cette résidence estivale à partir de 1703. Elle a d'ailleurs été nommée Bishu Shanzhuang, ce qui signifie littéralement "résidence de montagne pour fuir la chaleur". Sa fonction était donc claire : un palais d'été dans la fraîcheur des monts de Chengde, non loin de la capitale et du siège du pouvoir.
L'empereur Kangxi, puis les empereurs Qianlong et Jiaqing, ont alors pris l'habitude d'y faire le voyage tous les étés à Chengde pendant plusieurs mois.
La résidence d'été de Chengde est entourée d'une muraille de 10 kilomètres et se compose de palais et autres monuments, ainsi que de jardins impériaux, de collines, de pâturages, de bosquets et d'une tour d'observation. La résidence possédait même des écuries et des pelouses de démonstration de tir à l'arc et d'équitation.
La dynastie Qing étant une dynastie Mandchou, la résidence de montagne de Chengde a été aménagée à partir des décors des jardins de Suzhou et des panoramas du Lac de l'Ouest de Hangzhou, mais incorporant aussi le style que l'on retrouve dans les plaines mongoles.
Ce jardin impérial le plus grand au monde est ainsi composé de plusieurs palais, pavillons ou pagodes et est même équipé d'une salle du trône pour l'exercice du pouvoir pendant les mois les plus chauds de l'année.
Lors de l'installation dans la résidence de montagne par l'empereur Kangxi, ce dernier fit aménager 36 « sites de beauté » ou curiosités. L'empereur Qianlong en rajouta le même nombre. La résidence renferme ainsi 72 curiosités.
Malgré les dégâts subits par les seigneurs de la guerre et les Japonais, il est encore possible de voir ces magnifiques panoramas lors de la visite, notamment aux abords du lac de la résidence.
L'empereur Kangxi aurait décidé de bâtir sa résidence de montagne à Chengde lors d'une partie de chasse dans la région. En effet, il aurait aperçu au loin un gigantesque rocher en forme de massue (encore visible aujourd'hui) et c'est à ce signe que l'empereur aurait choisi cet endroit pour sa résidence « au-delà de la Grande Muraille ».