En los terrenos comprados por Carlos III a varias familias nobles, entre ellos el duque de Osuna, se inició en 1789 la construcción del edificio destinado a servir de convento a los frailes de San Gil, según el proyecto de Francesco Sabatini.
Terminado en 1797, ya en tiempos de Carlos IV, nunca llegó a ser ocupado por los religiosos —dicen que la reina María Luisa se opuso a ello por temor a ser espiada por los monjes, dada la cercanía con el Palacio Real—, por lo que fue destinado posteriormente a cuartel de guardias de Corps y luego albergó fuerzas de Caballería y de Artillería.
Ya en el reinado de Fernando VII una parte del edificio se utilizó como cuartel de caballería y en la otra se instalaron dependientes de las Caballerizas Reales y, a partir de mediados de siglo, se convirtió en cuartel de artillería.
Durante la convulsa vida política de España en el siglo XIX, el cuartel de San Gil fue protagonista en dos ocasiones.
El 22 de junio de 1866 tuvo lugar la sublevación de los sargentos de San Gil como parte de una revolución organizada por Sagasta, Castelar, Becerra, Cristino Martos y Juan Prim, que entonces se encontraba en el exilio, cuyo objetivo era el derrocamiento de Isabel II. Los regimientos del cuartel, mandados por el capitán Baltasar Hidalgo de Quintana se batieron en las calles de Madrid junto al pueblo que levantó barricadas en Antón Martín, Santo Domingo y San Ildefonso. Finalmente, las tropas gubernamentales bajo la dirección de O´Donnell y Serrano, consiguieron dominar la situación y el cuartel fue tomado el día 23 de junio. En la represión que siguió fueron condenados a muerte 70 oficiales y suboficiales y fusilados en los muros de la plaza de toros de la Puerta de Alcalá.
El 19 de septiembre de 1886 nuevamente se sublevaron dos regimientos del cuartel de San Gil para participar en el intento del general Villacampa por volver a instaurar la República.
El convento fue derribado durante la invasión francesa debido a la exclaustración ordenada por José Bonaparte y despareció casi por completo con la creación de la Plaza de Oriente. Actualmente se pueden contemplar parte de los techos abovedados en el Café de Oriente, cuyo restaurante se asienta sobre los restos.