Eugène Le Roy, rendit le château de l'Herm célèbre en en faisant la demeure du sinistre comte de Nansac dans "Jacquou le Croquant". Aujourd'hui, il est patiement restauré par un couple d'amoureux des vieilles pierres qui le font revivre en été le temps de quelques concerts et spectacles son et lumière.

A voir :

On pénètre dans le château par un portail finement ouvragé, décoré de fleurons, de pinacles et de tympans armoiriés.
Le château est constitué d'un corps de logis à trois étages auquel sont soudées deux grosse tours rondes. Il est recouvert d'un toit translucide afin de le mettre hors d'eau et d'arrêter la dégradation des ruines. Des passerelles ont été aménagées sur trois niveaux.

L'escalier monumental, qui se termine par un étonnant palmier de pierre, supporte la charpente et dessert les trois étages. Les cheminées que l'on découvre superposées au-dessus du vide sont superbes. On peut y voir les armoiries des Calvimont : deux lions, deux tours.

Dans l'autre tour, deux cachots superposés où Eugène Le Roy fit emprisonner Jacquou.

Au sommet du château, vue plongeante sur la fôret de Barade.

La seigneurie de l'Herm apparaît dans les textes au XIVe siècle, suite au démembrement de la seigneurie de Reilhac. A la fin du XVe siècle, la famille de Calvimont fait son apparition suite à son achat de la terre et seigneurie de l'Herm. L'actuel château fut construit entre 1480 et 1512. C'est une famille issue du notariat ; on retrouve ainsi Jean II deuxième du nom conseiller au parlement de Bordeaux et surtout Jean III, dit "le Second Président", son fils ambassadeur du roi François I er auprès de Charles Quint, roi d'Espagne.  
La famille de Calvimont se maintient à l'Herm jusqu'en 1605, date de l'assassinat de la dernière héritière Marguerite de Calvimont, fille de Jean IV. En 1642, la seigneurie de l'Herm est mise en vente suite à de nombreux assassinats, beaucoup de familles annexes prétendaient détenir un droit sur ces terres.
A la suite d'une adjudication en 1679, le château tombe, en 1682, dans le domaine des marquis de Hautefort qui l'abandonnent.