L’origine du nom « Temple de Dule » reste encore incertaine. Certains disent que ce nom vient de la rivière du même nom. Cependant, le temple étant relativement ancien (les premières constructions datent de la dynastie Tang), personne ne sait si le nom de la rivière est antérieur à celui du temple ou bien l’inverse.
D’autres pensent à un évènement passé. En effet, lors de la rébellion Shi Siming contre la dynastie Tang, An Lushan, également connu sous le nom d’An Dule, aurait établi ses quartiers dans le temple. Ce dernier aurait alors pris son nom.
Bien que le Temple de Dule, ou Temple de la joie solitaire, date de la dynastie Tang, aucun élément architectural n’a survécu. Les plus anciens bâtiments que les voyageurs peuvent aujourd’hui admirer furent construits sous la dynastie Liao. Les architectes avaient alors utilisé les mêmes techniques de constructions que sous la dynastie Tang, ce qui donne au Temple une grande importance.
En effet, les deux bâtiments d’époques représentent l’un des rares souvenirs de l’ère de gloire des Tang. Entièrement construits en bois, la porte sud, Shanmen, et le bâtiment central sont d’une grande valeur. Cela a même valu au temple d’être déposé sur la liste indicative du Patrimoine Mondial de l’UNESCO.
La porte sud du temple est appelée Shanmen. C’est un bâtiment tout en bois de la dynastie Liao. Elle mesure 10m de hauteur et ses toits sont construits d’une manière bien particulière puisque possédant 4 pentes et 5 crêtes. La porte est encadrée par deux magnifiques statues de gardiens protecteurs.
Le pavillon central est également connu sous le nom de pavillon de Guanyin. S’élevant sur 2 étages, pour une hauteur de plus de 20m, ce bâtiment uniquement en bois abrite une splendide statue en argile de la déesse Guanyin. Cet impressionnant bâtiment a été réalisé à partir de plus de 1 000 morceaux de bois !