Le château a été bâti au XVIIIe siècle sur les restes d'une villa gallo-romaine (villa Ferminiacum ou Firminiacum) par la famille Huguet de Montaran-Sémonville. En 1825, Charles-Louis Huguet de Sémonville (1759-1839) lègue le Domaine de Frémigny à son beau-fils Charles-Tristan de Montholon. Compagnon d'exil de Napoléon Bonaparte, il est secrétaire et homme de confiance de l'Empereur, qui lui dicte son testament. Après l'exécution de ce testament, il retourne en France dans son Domaine de Frémigny. Son train de vie effréné l'oblige en 1830 à vendre le château. Accablé de dettes, il se réfugie en Belgique avant de s'exiler en Angleterre où il fréquente le jeune Prince Napoléon III.
Le château actuel date du consulat. Son style « à l'italienne », typique de l'époque, imite l'antique avec les influences des campagnes d'Italie et d'Egypte : péristyle à colonnades, terrasses, perrons, escalier à balustres.
Le Parc de Frémigny est inscrit à l’inventaire du Patrimoine Culturel. Il comprend notamment un étang et une orangerie. Il daterait du XIIIe siècle.
Depuis 1963, le domaine est devenu la propriété du groupe AXA.
A la suite de travaux et d’aménagements, il est devenu, en 1987, un Centre de formation.
