En 1587 se decide la reunión de todos los hospitales de Madrid en una nueva institución que se ubicará frente al actual Congreso de los Diputados. Se le conocerá como Hospital General de Nuestra Señora de la Encarnación y San Roque. Esta ubicación durará muy poco pues en muy breve tiempo se dispondrá el traslado de dicho hospital al «Albergue de Mendigos», que se situaba al final de la calle Atocha. La fundación de este «Albergue de Mendigos» tiene un origen real tras una propuesta realizada por
Don Cristóbal Pérez de Herrera en tiempos de Felipe II. Este monarca fue, precisamente, quien puso la primera piedra de esta institución el 8 de Septiembre de 1596
Este traslado se hará en 1603 -en el caso del pabellón masculino-, reinando ya Felipe III y 1636 -en el caso del femenino- reinando Felipe IV. El ala de mujeres se ubicó en unas edificaciones situadas bajo el actual Colegio de Cirugía San Carlos. En el siglo XVIII el hospital toma su fisonomía definitiva. Felipe V encarga la construcción de un nuevo edificio. El primer proyecto se encargó a Ventura Rodríguez y fue rechazado por ser poco funcional. Se aprobó el presentado por el ingeniero militar José de Hermosilla. Este inicia en 1758 los trabajos del nuevo hospital en unos terrenos baldíos que había detrás del Albergue de Pérez de Herrera para que mientras tanto siguiera el uso del antiguo.
Construyó los sótanos y elevó el edificio en algunas zonas hasta el piso principal. A su muerte, ya en tiempos de Carlos III, se encarga a Francesco Sabatini, quien lo reanuda con un tercer proyecto mucho más costoso y grandioso que el anterior. Incluía una solemne fachada de 165 metros situada en la calle de Atocha. Hubo grandes dificultades económicas para continuar con el monumental hospital, por lo que el proyecto fue abandonado. A la muerte de Carlos III, en 1788, solamente se había cerrado uno de los patios (de los siete proyectados) y se había construido un brazo que llegaba hasta la calle Atocha en la zona oeste (en donde está en la actualidad el Real Conservatorio de Música). En palabras de Sabatini, se construyeron sólo las dos quintas partes.
La parte construida fue suficiente para alojar 1561 camas hospitalarias, además de las instalaciones del Colegio de Cirugía de San Carlos. El complejo se inauguró en agosto de 1781.
En 1849, el Hospital General de Madrid, a raíz de la reforma administrativa que siguió a las Cortes de Cádiz de 1812, pasó a ser regido y administrado por la Diputación Provincial; y se rebautizó como Hospital Provincial de Madrid. En 1861 el Ayuntamiento de Madrid compró por 1.380.711 pesetas la mayor parte de la zona que daba a la calle de Atocha, y allí se construyeron casas de vecinos y una plaza (denominada actualmente Plaza de Sánchez Bustillo).
En la actualidad el edificio es ocupado por el Centro de Arte Reina Sofía, por el Conservatorio y el por el Colegio de Médicos (1776-1781).