Fue fundado en 1778 por Real Cédula de Carlos III, comenzando a ser dirigido por la Real Junta de Diputación a Pobres. La institución de acogida de huérfanos se instaló en el edificio del que fuera Colegio de San Prudencio, fundado en 1589 por el vitoriano D. Martín de Salvatierra (1583-1592), obispo de Segorbe y de Ciudad Rodrigo. El conjunto de Colegio y Capilla, orientado a la calle San Vicente de Paúl, se edificó a caballo entre los siglos XVI y XVII.
El primero, construido en buena sillería arenisca, presenta una severa fachada clasicista de tres cuerpos, los dos primeros con estructura gemela, consistente en arquitrabes que sostienen cuatro pares de columnas, de orden toscano en el nivel de la calle y de orden jónico en el superior, dieciséis en total. En el tercer cuerpo sobresale un relieve escultórico de la Caridad.
El blog de Fernando Rey 