La fotografía de hoy es de Pilar Martín. Imagen de la fachada de la actual biblioteca de Santa María de los Ángeles en la calle Libreros de Salamanca.

Se tiene constancia que este solar lo ocupó la alberguería de los judíos, fundada en 1230, por una judía llamada doña Madre para la atención de los hebreos pobres y peregrinos. Se tiene constancia de que perduró hasta 1492, fecha de la expulsión de los judíos. En 1518, Francisco Rodríguez de las Varillas, canónigo de Salamanca y camarero del papa León X, edificó el Colegio Menor de San Millán sobre el solar que antes ocupó la alberguería judía. Parece ser que el Colegio Menor ya existía en 1484 cuando el pontífice Inocencio VII le concedió el beneficio de La Torre de Martín Pascual (hoy día, núcleo de población del municipio de Galindo y Perahuy), gracia que confirmó en 1492 Alejandro VI. En 1519, León X le concedió el beneficio de la inmediata iglesia de San Millán.