Le témoignage enthousiaste d'un spécialiste des fortifications après sa visite au château donne un éclairage intéressant sur la forteresse de Bougey au Moyen-âge : "Une visite inoubliable, pour les amoureux des vieilles pierres, vous adorerez les différents bossages des pierres, demi-sphère, étoile, vous aimerez de très rares embrasures doubles, et surtout la seule et unique embrasure à rotule du lieu, élément défensif très rare, apparu aux XVème/XVIème siècles dans la fortification, et qui aujourd'hui a presque totalement disparu. Rien que pour cela, Bougey vaut le détour ! Il va de soi que l'on ne peut manquer la splendide porte-logis, que l'on rencontrait dans les forteresses du moyen-âge, et les réservations faites pour le passage des flèches des deux pont-levis. Il y a beaucoup de choses à voir sur le site, pour ceux qui savent observer, regardez bien les pierres de près, vous y découvrirez peut-être un visage..." Turpinite Florian Garnier

Toutefois, fort peu d'éléments représentatifs de l'aspect originel du château au Moyen-âge existent encore de nos jours.

L'unique tour d'angle étant datée de 1584, il ne subsiste plus guère que la porte-logis avec ses portes piétonne et charretière, son système de pont-levis, ses canonnières dont une à rotule, enfin son magnifique clocheton sur bretèche, d'où la perspective vers le village de Jussey est imprenable.

Un système défensif encore très présent donc, renforcé par un effet de bossage en pustules original, dont on retrouve certains exemples à Langres et dans quelques châteaux environnants; artifice à but défensif ou esthétique qui semble apparaître dans la région aux XVème-XVIème siècles.

Au début du XVIème, la terre de Bougey passe à la famille de Grammont, Jean de Grammont en 1540 puis Claude-Gabriel de Grammont qui était mineur. Comme la terre de Bougey relevait alors de celle de Rupt, l'oncle tuteur, Claude de Grammont, dut présenter, pour reprise de fief, un dénombrement de cette terre daté de 1584 : "La forterese de Bougey estant assize près de l'église dud. lieu, comme elle se comporte ; un jardin et un verger proche icelle forteresse contenant quatre journaux; les fossey à l'entour avec un moulin et un étang auprès. Un colombier, avec aisances, commodités et appartenances [....] une grange sise à Bougey, appelée la grange des champs, contenant trois chars (?) et un four au devant ; le moulin de la Perrière et une grange attenante ; une chapelle joignante à  l'église parochiale, fondée et instituée à l'Honneur et révérence de la glorieuse Vierge Marie avec place à bâtir un maison pour le chapelain et un verger ; douze ouvrées de vignes, cent dix-neuf quartes de champs, quarante fauchées de prés et deux cents arpents de bois".

Le seigneur de Bougey possédait donc à cette époque à peu près le cinquième du finage.

Allant de pair avec les énormes privilèges dont jouissaient les seigneurs de ce temps, le château devait avoir l'apparence d'une imposante forteresse flanquée de 4 tours rondes dont une seule persiste aujourd'hui. Sa taille devait être beaucoup plus importante qu'elle ne l'est actuellement comme semble le confirmer la présence de quelques belles pierres de taille disséminées dans un périmètre tout à fait conséquent.