Le premier château date du XIIIe siècle avant d'être restauré au XVe siècle. L'endroit était alors une place forte et servait de coin de retranchement car le château, situé entre une petite vallée et un côteau escarpé, était quasiment imprenable. Le bâtiment fut en partie détruit pendant les guerres de Vendée.
Le château qui jouxte le bâtiment fut construit à la fin du XIXe siècle. Juste en contrebas se trouve les vestiges d'un manoir médiéval.
C'est ce manoir médiéval que nait Joachim Du Bellay, un poète français de la Renaissance.