En 1112, Ponce de Riveau est chanoine de l'église d'Autun. En 1307 Perrin de Riveau, seigneur de Montjeu, achète à Perreault de Varrennes, seigneur d'Igornay, le fief du petit Montjeu à Autun et le tiers du château de Riveau (la maison du petit Montjeu se trouvait devant les fossés intérieurs du château de Riveau.) En 1363, compte de Guy de Marigny, chevalier, châtelain et garde de la viguerie d’Autun; réparations exécutées au château. En 1364, dénombrement donné par dame Marguerite de Soillenay, relicte de Hugues de Montjeu, dame dudit lieu de ce qui suit: à savoir les deux parts du château de Riveau. Item sa maison située dessous ledit château avec les jardins et curtils tout autour d'icelle. Témoin: Jacques de Saint-Germain, seigneur d'Uxelles. Les Ursulines achètent le château en 1647, ce qui ne marque pas pour autant l’arrêt des destructions. En effet, cette même année, elles font abattre une grosse tour du château de Riveau, à savoir la Tournelle. Aujourd'hui, la tour abrite un centre culturel franco-japonais, le Centre International de la Tour des Ursulines.

La citadelle ou château de Riveau occupait l'extrémité sud de la cité et du castrum, enclavée dans les murailles gallo-romaines, fut constamment restaurées et réaménagées au cours des ages. Au point le plus élevé de la ville, cette extrémité formait une sort de triangle dont la base, côté nord, mesurait une centaine de mètres. La pointe sud était occupée par la grosse tour, conservée aujourd'hui sous le nom de tour des Ursulines. Les vestiges encore visibles se limitent à cette tour, de section octogonale, bâtie sur les bases de la tour circulaire romaine la plus méridionale de l'enceinte, qui représente à peu près le sixième de la hauteur totale. La partie médiévale a été bâtie avec des pierres de remploi. Elle est percée d'archères et d'élégantes ouvertures géminées, couvertes d'arcades plein-cintre. Au XIXe siècle, le sommet a été garni d'une rembarde de pierre et d'un piédestal de maçonnerie sur lequel une Vierge en pierre a été érigée entre 1859 et 1862 par le sculpteur Quarre.
Eléments protégés MH : la tour, la statue de la Vierge : classement par arrêté du 2 septembre 1994 .