Peu de choses sont connues sur Bougey à l'époque gallo-romaine si ce n'est que l'on trouve au nord-est de la commune, des vestiges de voie romaine (voie de Port-sur-Saône à Langres) . Auprès de cette voie romaine est également mentionné un camp romain.

L'époque carolingienne quant à elle, a gardé jusqu'à ce jour, ses secrets sur l'histoire du site.

La première mention du château remonte au début du XIVème siècle, un texte daté de 1311 indique en effet : "Etienne de Bougey", dit Bougeroz, écuyer, avait contracté un emprunt auprès du juif Antoine le Lombard de Traves, sous la caution de Jacques de Rupt, son cousin, qui fut obligé de payer pour lui. Il ne put se libérer que quarante ans après, en cédant une partie de son château à Gauthier de Rupt, fils de son créancier".

En 1352, les terres de Bougey passent à Béatrix de Bougey, nièce d'Etienne.

En 1386, le dénombrement de la terre de Rupt mentionne que le fief de la maison-forte de Bougey appartient à Jeanne, fille de Vauchier de Gouhenans, chevalier, descendant de Jean de Gouhenans et de Guillemette de Rupt.

Au XVème siècle, aucun texte ne nous permet à ce jour d'avoir une idée précise de l'histoire du château lorsqu'il appartient à la famille de Ray.