Au début du XVIIème, la terre de Bougey passe à la famille de Grammont, Jean de Grammont en 1640 puis Claude-Gabriel de Grammont qui était mineur. Comme la terre de Bougey relevait alors de celle de Rupt, l'oncle tuteur, Claude de Grammont, dut présenter, pour reprise de fief, un dénombrement de cette terre daté de 1684 : "La forterese de Bougey estant assize près de l'église dud. lieu, comme elle se comporte ; un jardin et un verger proche icelle forteresse contenant quatre journaux; les fossey à l'entour avec un moulin et un étang auprès. Un colombier, avec aisances, commodités et appartenances [....] une grange sise à Bougey, appelée la grange des champs, contenant trois chars (?) et un four au devant ; le moulin de la Perrière et une grange attenante ; une chapelle joignante à  l'église parochiale, fondée et instituée à l'Honneur et révérence de la glorieuse Vierge Marie avec place à bâtir un maison pour le chapelain et un verger ; douze ouvrées de vignes, cent dix-neuf quartes de champs, quarante fauchées de prés et deux cents arpents de bois".

Le seigneur de Bougey possédait donc à cette époque à peu près le cinquième du finage.

Allant de pair avec les énormes privilèges dont jouissaient les seigneurs de ce temps, le château devait avoir l'apparence d'une imposante forteresse flanquée de 4 tours rondes dont une seule persiste aujourd'hui. Sa taille devait être beaucoup plus importante qu'elle ne l'est actuellement comme semble le confirmer la présence de quelques belles pierres de taille disséminées dans un périmètre tout à fait conséquent.





A la fin du XVIIème siècle, le 8 février 1687, Etienne de Camelin achète le château de Bougey ; il y meurt le 17 décembre 1694. Un inventaire après décès montre qu'à l'époque le château était encore bien entretenu et richement aménagé.

L'aile dite "Camelin" avait une façade typiquement classique, à balustres et était probablement agrémentée d'une galerie, aujourd'hui disparue. Des fragments de balustres attestent de l'existence de fenêtres géminées.

Au cours du XVIIIème siècle, l'ensemble architectural perdra graduellement de sa superbe comme en témoignent deux documents qui illustrent parfaitement la lente et inexorable dégradation du bâtiment possédé successivement par les familles de Choiseul, de Serrey, d'Hémery et de Serrey de Chatoillenot.

• Le premier document, daté du 20 décembre 1707, concerne le mandat donné par M. de Choiseul, marquis de Lanques à M. Claude Girard de Cherlieu, Notaire Royal et gardeNottes héréditaire pour attester des dégradations avancées de certaines parties des bâtiments, en un mot,le "...Contrat reccu du notaire soubscrit pour Reconnoître les ruines et chuttes arrivé Le vingt deux des present mois a une des Parties des galeries dudit chastau et autres Endrois qui luy ont esté monstré de la Part dudit seigneur marquis....". Il est à noter qu'aucun galerie ne subsiste aujourd'hui !
  

• Le second document, daté du 25 avril 1786, est un état des lieux dressé par un entrepreneur en bâtiments de Jussey, Etienne Hovy, mandaté par M. d'Hémery, Seigneur de Bougey afin de "...visiter et reconnaître e létat du dit châtot, des réparations doûvrage à y faire tant au corps de logis qu'aux écuries grangages, mur des faucez, ceux autour du jardin potager et autre ; de faire l'estimation de tous les ouvrages, refaire pour rendre le dit chatot en bon et dû état...."