La légende veut que le palais de Yumbulagang soit construit au IIème siècle avant J.-C. par le roi Nyatri Tsenpo. A l'époque, le Tibet n'est pas encore unifié et la région n'est formée que par des tribus de nomades. Ce roi aurait alors réussi à prendre le pouvoir sur une partie du territoire de là à bâtir le premier bâtiment en dur marquant la fin de la vie nomade, le palais de Yumbulagang.
Se dressant en hauteur au-dessus des champs agricoles de Tsetang et d'un village traditionnel, le palais de Yumbulagang servit ensuite au roi Songtsen Gampo et la princesse Wencheng comme résidence d'été jusqu'à ce que la capitale soit transférée à Lhassa. Yumbulagang fut alors transformé en chapelle.
Se trouvant sur un pic assez escarpé, les véhicules ne peuvent pas circuler jusqu'à l'entrée du palais. Il faut donc se préparer à environ une demi-heure de marche un peu raide, mais tout dépend des conditions physiques à cette altitude. Autrement, des locaux proposent les traditionnelles excursions à cheval qui permettent de ne pas se fatiguer et de profiter du voyage.
Bien que le palais de Yumbulagang soit de petite taille, la visite n'en reste pas moins des plus spectaculaires car, une fois en haut, on a alors une vue imprenable sur la vallée en contrebas ; sans doute l'une des plus belles vues de cette région du Tibet.
Sur la direction du 5ème Dalaï-lama, le palais fut transformé en monastère des bonnets jaunes. Malheureusement avec la Révolution culturelle et divers autres évènements ce palais de Tsetang fut entièrement détruit. L'édifice qui se visite aujourd'hui est en fait une reconstruction de 1982 d'après d'anciens plans. Le monastère a même été consacré à nouveau en 1984 par le Panchen Lama afin de reconnaître son caractère sacré.