Le château de Ternay est cité en 1482 sur les registres du tabellionnage de Villepreux. La propriété a été modifiée au XIXe siècle en style Directoire. Sacha Guitry y vécut entre 1937-1957. Puis, le château a été racheté par la famille Le Vicomte et est devenu une propriété privée.
Illustre comédien, auteur dramatique et réalisateur de films, Sacha Guitry, qui avait décidé de faire du domaine de Ternay sa demeure secondaire, est très attaché à la ville de Fontenay-le-Fleury. Il y célèbre les 4 et 5 juillet 1939 à l’église St Germain de Fontenay-le-Fleury son mariage avec l’actrice française Geneviève de Séreville.