En 1995, sous l'impulsion de l'Association Le KINNOR , le Château a été classé "Monument Historique" et a reçu le label de "Joyau de la Construction fin XVIème siècle".

Le château de Fervaques est l’œuvre de François Gabriel, grand architecte d'Argentan, déjà connu pour la construction du château de Carrouges dans l'Orne, et dont la lignée familiale sera réputée à Paris (Place de la Concorde et édifices publiques).​ C'est le maréchal Guillaume IV de Hautemer, puissant Chef d'Armée et Chevalier des Ordres du Roi et Gouverneur de la Province de Normandie, qui avait commandé, à l'architecte de renom, un vaste édifice à la mesure de ses ambitions, dans l'intention de faire honneur à sa seconde épouse Anne d'Alègre, Comtesse de Laval, à l'occasion de leur mariage en 1599.​

Le château, construit de 1597 à 1602 sur un Manoir plus ancien (XIVème-XVème siècles), comprend un long corps de logis flanqué de deux pavillons très allégés par les pierres en bossage qui s'impriment sur la brique et l'enduit rose. ​Le Manoir abrite la chambre où séjourna Henri IV en 1590, venu négocier avec le Maréchal de Hautemer, fin stratège, les conditions de sa coopération dans la reconquête de l'unité entre Français Catholiques et Français Protestants, qui aboutira huit années plus tard à l'Edit de Nantes.​

En 1803, le domaine se trouvant sans héritier, l'écrivain François-René de Chateaubriand, à l'époque Secrétaire d'Ambassade à Rome, demanda alors à son égérie, Delphine de Custine, marquise de Sabran, d'acheter cette demeure. Chateaubriand vint souvent retrouver "la paix et le bonheur" à Fervaques, et il y écrivit même une partie des Martyrs, et notamment l'épisode de Velléda, personnage que lui inspira la maîtresse des lieux que l'on surnommait "La Reine des Roses". Celle-ci organisa même un cercle littéraire avec les grands poètes du moment, et notamment Chênedollé, Sainte-Barbe, et Astolphe de Custine, son fils. ​Delphine de Custine s'éteignit en 1826 à Bex, près de Lausanne où se trouvait Chateaubriand au même moment. Elle fut enterrée par son fils dans la petite chapelle du cimetière d'Auquainville, paroisse voisine à laquelle alors est rattachée Fervaques. ​