C'est au Xème siècle que les premiers écrits mentionnent la présence d'une forteresse destinée à protéger la ville du Puy-en-Velay toute proche. Mais c'est véritablement la famille de Polignac qui va développer l'édifice aux XIV-XVème siècles avec un impressionnant système défensif : un donjon de 32m de haut, 800 mètres de remparts, 6 portes fortifiées… qui contribuent aussi à asseoir la puissance de ces seigneurs. Surnommés les "rois des montagnes" par François 1er, les Polignac occupent les plus hautes fonctions auprès du Roi de France dès le XVIIème siècle. Au pied de la forteresse, un village s'établit peu à peu avec les premiers paysans qui y installent fermes et maisons fortes. Si le site castral appartient toujours à la famille de Polignac, il offre à la région du Puy-en-Velay non plus sa protection mais probablement l'un des plus beaux points de vue sur ses paysages !