Lavoûte-Chilhac tient son nom du latin volta, la "boucle", une référence au parcours sinueux de l'Allier dans lequel le village s'est enserré, que l'on retrouve d'ailleurs dans les premières mentions des lieux. Le 14 septembre 1025, Odilon de Mercœur, 5ème Abbé de Cluny dont l'ordre rayonne dans tout l'Occident chrétien à partir du XIe siècle, signe en effet la charte de fondation du prieuré "Sainte-Croix de La Volte". C'est donc autour de ce prieuré Clunisien que le village va se développer, en s'adaptant aux exigences du site, constitué d'un cirque rocheux et de la rivière Allier formant une boucle presque parfaite et un isthme étroit. Aujourd'hui, il ne reste rien de l'ancien prieuré fondé par Odilon de Mercoeur, modifié à plusieurs reprises jusqu'à la révolution. La plus grande partie des bâtiments visibles date de la fin du XVIIIème siècle. Ils s'insèrent dans les fortifications de la fin du Moyen Âge et sont disposés autour de l'église prieurale Sainte Croix du XVème siècle.