Recibe su nombre de la fecha de inicio de las obras de construcción, el día de la Inmaculada Concepción de 1663, siendo su promotor el Duque de Osuna, que vio necesaria la elevación de una gran fortificación que pudiese contrarrestar las que los lusos habían levantado en Almeida y Castelo Rodrigo. El 8 de junio de 1664 la contienda con Portugal se saldó con la derrota del duque en la Batalla de Castelo Rodrigo y se ordenó el derribo de este primer fuerte.

Entre 1730 y 1735 el enclave tomó importancia nuevamente y se encargó al ingeniero militar Pedro Moreau el rediseño de la fortaleza en la particular forma estrellada, siendo maestro de obras Manuel de Larra Churriguera. Finalmente, durante la Guerra de la Independencia fue inutilizado y volado parcialmente por orden de Wellington para evitar que cayese en manos francesas.

El complejo defensivo abaluartado se diseñó con cuatro baluartes y revellines, camino cubierto, fosos, puente levadizo, parapetos, casamatas, capilla, cisternas, hospital, casa del gobernador… Todo ello gira en torno a una gran plaza de armas, que aporta grandiosidad al conjunto. El fuerte se complementa a escasa distancia con el cuartel de caballería de San José.

Tras una importante labor de recuperación y consolidación, el conjunto aloja en la actualidad un establecimiento hotelero.