Le encarga el proyecto del futuro palacio a los arquitectos Rodrigo Gil de Hontañón y a fray Martín de Santiago en 1539, presupuestado en 10 millones de maravedíes, un coste altísimo teniendo en cuenta que la economía del conde no pasaba por su mejor momento, después de emplear grandes sumas en la construcción de la fortaleza de Monterrey de Galicia o la ayuda prestada para la defensa de la Viena imperial frente a los otomanos. Esa fue la razón por la que el edificio nunca se concluyó como estaba previsto, además teniendo en cuenta que su hijo, quién debía de continuar los trabajos, falleció apenas tres años después de hacerlo él, quedando como heredero un niño de corta edad, don Gaspar, V conde de Monterrey.

En la construcción participaron numerosos artistas locales, escultores, tracistas y adornistas. La fachada que se contempla desde la plaza de las Agustinas, es solo una parte de lo que se proyectó, puesto que le debía corresponder otra construcción simétrica al norte. Sobre el diseño final existen varias teorías, según Chueca Goitia, el resultado era un palacio de planta cuadrangular en torno a cuatro patios porticados, aunque esta tesis parece complicada, porque tales dimensiones obligarían a derribar la iglesia de Santa María de los Caballeros. Para John D. Hoag, el palacio tendría dos alas paralelas (una es la construida) cerradas por una fachada oriental (solo se construyó una parte) y un patio en el extremo opuesto.

A la fachada principal se le incorporó una bella decoración de cresterías y unas chimeneas de filiación francesa, decoración que contrasta con el cuerpo inferior, de carácter medieval. Sin duda la parte más bella del edificio son los torreones, las crestería, caladas y caprichosas, y las chimeneas, las primeras, autentica filigrana en piedra, las segundas, de filiación francesa. En las esquinas de los cuerpos superiores de los torreones, se aprecian los escudos de armas del III conde de Monterrey con los linajes de Acevedo y Fonseca.

El momento de incorporación del palacio a la Casa de Alba se produjo tras el matrimonio de Catalina de Haro y Guzmán (1672-1733), VIII condesa de Monterrey, VIII marquesa del Carpio, quien heredó todos los títulos de los linajes de Olivares, Carpio y Monterrey, así como el famoso palacio salmantino, con don Francisco Álvarez de Toledo y Silva (1662-1739), X duque de Alba. Solo tuvieron una hija, Doña María del Pilar Teresa Álvarez de Toledo (1691-1755), XI duquesa de Alba.

Respecto al interior, apenas hay datos, aunque en el siglo XIX albergó una escuela pública y en la actualidad es la residencia del Duque de Alba, fue declarado “Monumento arquitectónico-artístico” el 6 de mayo de 1929.

Durante el siglo XIX y siglo XX existe constancia de ciertas reformas en el edificio. Muy conocidas son las realizadas en época del XVII duque don Jacobo Fitz-James Stuart y de su hija la XVIII duquesa doña Cayetana y el XVIII duque don Luis. En los años 40 se hicieron obras de acondicionamiento en los torreones, tejados y en la vivienda, hasta que, en el año 1949, se reinaugura la casa. Muy interesante fue la obra de 1952, cuando Manuel Cabanyes prepara un proyecto y memoria para las obras de la fachada-entrada. Se elimina el retranqueo de la puerta principal, dejando visible los adornos y medallones de la primera y segunda planta. Un año después se coloca la verja principal.