La première construction du domaine serait une forteresse à l'époque de Charlemagne, puis une seconde forteresse aurait été construite au Xe siècle, reconstruite au XIIe siècle.
Au début du XVe siècle, l'édifice, très dégradé, est démantelé. Jacques de Renty le reconstruit, à la fin du même siècle, vers 1495, dans le style Renaissance, naissant alors en France. Il en subsiste principalement la tour des Dames (au Sud) et la tour de l'Horloge.
Au XVIIIe siècle, le domaine revient aux familles d'Anne-Adrien-Pierre de Montmorency-Laval. Le château est la demeure de Anne-Adrien-Pierre de Montmorency-Laval, duc de Laval et de San Fernando Luis, ambassadeur de France sous Louis XVIII et Charles X. Il est aussi un des trois derniers défenseur du Canada où se situe la ville de Lévis et au château se trouve le livre unique qui contient les douze discours d’inauguration de la ville qui a été inauguré le 18 juin 1895. Il fait construire en 1834 un pavillon supplémentaire attenant à la façade nord du château. Les armoiries de la famille Montmorency-Laval se trouve au-dessus de la porte d'entrée. Nous pouvons y voir seize aigles sur fond d'or barrés d'une croix rouge sur laquelle repose des coquillages, ainsi que trois chevrons de sable sur fond d'or. Le tout surmonté de la devise "Dieu aide au second chrétiens Levis".
Charlotte de Laval-Montmorency, née en 1798, fille du précédent, se marie en mai 1817, à la Restauration, avec Athanase Gustave Charles Marie, marquis de Lévis-Mirepoix. Elle décède le 22 juin 1872 dans le château. La façade Est, dans un style néo-gothique, est édifiée en 1879 par l'architecte Clément Parent, élève d’Eugène Viollet-le-Duc, pour le comte et la comtesse Sigismond de Lévis. Un manège est construit à partir de 1893. Inscrit MH (1927, 1993)