Le Dzong de Gyantsé tient son nom du mont sur lequel il se trouve, le Mont Dzongri. Il fut construit ici en 1365 afin de remplacer le château des rois de Yarlung qui cernait la ville de Gyantsé de sa muraille. Servant de forteresse, le dzong permettait de prévenir des invasions de l'ouest depuis le Népal ou l'Inde.
La ville fut même surnommée la "ville héroïque" après que 500 soldats installés dans le Dzong tinrent tête à l'armée britannique venue d'Inde pendant plusieurs jours.
Le Dzong de Gyantsé se visite encore aujourd'hui. C'est depuis cette forteresse en hauteur que l'on peut admirer la vallée et surtout le Monastère de Palcho et son célèbre Kumbum Chörten.
Malgré son passé glorieux de plusieurs siècles, le Dzong de Gyantsé ne tint pas le coup contre les gardes rouges. De nombreux objets d'une grande valeur furent détruits ou bien emmenés en Chine, et il ne reste pour beaucoup que des ruines pour témoigné de la grandeur du site. Les bâtiments debout aujourd'hui ne sont en fait que des restaurations d'anciens édifices. On peu y voir la chapelle avec ses fresques bouddhistes, un petit temple bouddhiste et une pièce aménagée en musée. Ce dernier exposant les actions anti-impérialistes britanniques menées au Tibet, et ce, du point de vue chinois.