La route qui conduit de Tournus à Cormatin (D14) offre à Ozenay, juste après avoir franchi la Natouze, un face-à-face chargé d’Histoire : à droite de la route, l’église romane de la fin du XIIe siècle, placée sous le vocable de Saint-Gervais et de Saint-Protais ; à gauche, le château, que caractérisent ses toitures basses, son donjon, et, à l’arrière, ses tours carrées, encadrant le corps de logis central.
À partir d’un donjon, daté généralement du XIIIe siècle, s’est d’abord développée une simple maison forte, avec ses dépendances (y compris un pressoir monumental) et, dans un pré voisin, son colombier. L’initiative en revient sans doute aux familles Chassipol et Chanay (ou Deschanay, selon une orthographe fréquente à l’époque), qui, jusqu’au début du XVIIe siècle, détiennent successivement la seigneurie d’Ozenay. Les arcs en accolade que présentent plusieurs linteaux témoignent en particulier de l’aménagement d’un logis d’habitation, à situer autour de 1500.
Diverses extensions, réalisées au XVIIe siècle par la famille Barthelot, désormais détentrice de la seigneurie, donnent un nouveau visage au logis. La maison forte devient un véritable château résidentiel, pourvu de deux tours d’angle carrées et d’un jardin à la française. Au XVIIIe siècle, des chambres sont aménagées le long d’un corridor à l’étage de l’aile nord ; de larges croisées sont percées pour en assurer l’éclairage.
L’ensemble (château, colombier, « miroir d’eau » enjambant la Natouze et pressoir) a été classé au titre des Monuments Historiques en deux étapes, en 1997 et en 2005.