C'est dans le contexte troublé de la croisade contre les Albigeois que Castelnaud apparaît dans l'histoire.
Le château est alors à la tête d'une seigneurie de moyenne importance; au nord, la Dordogne marque la frontière avec les terres des puissants barons de Beynac.
Le maître des lieux est alors Bernard de Casnac, ardent défenseur de la foi cathare et réputé pour sa cruauté. En 1214, le chef de la croisade albigeoise, Simon de Montfort, prend le château et y installe une garnison. Mais Casnac résiste et réussit à reprendre le château un an plus tard; il fait pendre toute la garnison de Montfort, avant d'être définitivement chassé lui-même par l'Archevèque de Bordeaux qui brûle le château.