Le château durement éprouvé par la guerre de cent ans est complètement reconstruit en 1570-1574. Son constructeur, Philippe Boutin, fait édifier deux châteaux sur l’esplanade de la vieille forteresse, sans doute pour y loger toute sa famille. En cette période de guerre, la demeure conserve une fonction défensive avec douves, pont-levis et meurtrières. Mais c’est également une agréable demeure de la Renaissance avec ses grandes fenêtres à meneaux et la richesse colorée de son décor, damiers de briques roses et de pierres calcaires.
En 1798, le château est vendu à Pierre Aumont, issu d’une famille réputée pour ses compétences dans l’élevage du cheval. Fournisseur général des chevaux de la Grande Armée, sous le Premier empire, il fait bâtir les écuries qui encadrent la cour d’accès, au début du 19è siècle (elles figurent sur le cadastre napoléonien de 1811). Son troisième fils, Alexandre, est un passionné d’élevage qui fait la renommée du haras de Victot tout au long du 19e siècle. Ses descendants maintiennent la réputation du célèbre élevage.