Mais le plus ancien témoignage d’une occupation humaine ne remonte pas à une époque aussi lointaine : c’est la chapelle, dont la construction date des environs de l’an 1000.

Au moyen-âge, Verdun est le siège d’une seigneurie et un château s’élève sur le rocher . De la fin du XIII^ème au milieu du XV^ème siècle, le sort du château est lié à celui de Castelmary, situé dans la vallée du Lézert. En effet la famille des Castelmary, puis celle des Vernhes, tiennent les deux sites fortifiés. Le blason qui décore actuellement la tour est celui des Vernhes.

Au XV^ème siècle, à la fin de la  guerre de cent ans, la seigneurie revient à la famille Saunhac de Belcastel qui réside dans la vallée de l’Aveyron. Elle laisse le château tomber en ruines car il perd son importance militaire.