La construcción del edificio comenzó en el año 135bajo las órdenes del emperador Adriano, que pretendía utilizarlo como mausoleo para él y su familia. La edificación concluyó en el año 139, convirtiéndose, poco tiempo después, en un edificio militar que en el año 403 se integraría a la Muralla Aureliana.
El año 590, mientras una gran epidemia de peste devastaba la ciudad, el Papa Gregorio I tuvo una visión del Arcángel San Miguel sobre la cima del castillo, anunciando el fin de la epidemia. En recuerdo de la aparición el edificio se encuentra coronado por la estatua de un ángel.