Résidence de plaisance

Après un siècle noir de guerres, d'épidémies et de malheurs, s'ouvre une grande période de prospérité pour Castelnaud. La reconstruction du château est engagée par Brandélis de Caumont et poursuivie par son fils François et son petit-fils Charles. L'ancienne forteresse du XIIIe siècle prend un aspect plus conforme à la mode du temps. François de Caumont, outre les agrandissements de Castelnaud, se fait construire une agréable demeure de style Renaissance non loin de là : le château des Milandes. Castelnaud, qui n'a plus de position stratégique à tenir, devient une résidence de plaisance. C'est en raison de sa fonction prestigieuse de centre du pouvoir de la seigneurie qu'il doit être fortifié. L'imposante tour d'artillerie, construite vers 1520 n'a d'autre fonction que de symboliser la puissance du lieu.