Une première abbaye est fondée au VIIIe siècle sur le mont Castillon, une colline boisée à quelques kilomètres de la future ville de Saint-Mihiel. Entre 816 et 824, l'abbé Smaragde, célèbre grammairien et auteur spirituel, fait déplacer l'abbaye à son emplacement actuel pour profiter du fleuve, mais les bâtiments existants ne sont réalisés qu'à partir de la fin du XVIIe siècle sous l'abbatiat de Don Hennezon, maître d'oeuvre du grand logis, aujourd'hui occupé par les services de la mairie.
De l'ancienne abbaye ne sont visitables que la Bibliothèque bénédictine, l'ancien tribunal et le musée d'Art sacré. La salle capitulaire et la salle des mariages (anciennement réfectoire) se découvrent aux Journées européennes du Patrimoine en septembre.
De l'ancienne abbaye ne sont visitables que la Bibliothèque bénédictine, l'ancien tribunal et le musée d'Art sacré. La salle capitulaire et la salle des mariages (anciennement réfectoire) se découvrent aux Journées européennes du Patrimoine en septembre.