Los primeros documentos que mencionan el Fuerte de Exilles, todavía muy rudimentario y en vías de definición, datan del siglo VII, cuando un reportero de la Novalesa cita una fortificación primitiva destruida por los francos en la roca de Exilles. La primera información data de 1155. Los dueños de la fortaleza eran los condes de Albon, quienes ejercían el control estratégico, militar y mercantil sobre la carretera del Monginevro y necesitaban protegerla para llegar a Francia y establecer un puesto de peaje para exigir aranceles a los bienes que pasaban. Debajo del edificio también erigieron un muro con pasajes protegidos para interceptar el camino. En un documento de carreteras y minas entre Monginevro y Chiomonte, se cita una estructura sobre el peñasco rocoso que bloqueaba el valle y el tránsito a lo largo del camino entre un lado y el otro de los Alpes.
En 1339 presenta ya una estructura compleja: su primera descripción real como una “rara estructura de castillo de calle”, construcción cuadrangular fortificada con torres, carreteras y almacenes externos, diferentes cercos de muros defensivos alrededor del núcleo interno, una barrera externa que daba a la carretera de Monginevro, un enlace importante entre Piamonte y Provenza. Muy diferente de la fortaleza sólida y compacta de hoy.
Las continuas guerras llevaron a utilizado en fases alternativas tanto por los Saboya como por los franceses, entre los años 1500 y 1700. Desde 1601 el fuerte modificó su aspecto de antiguo castillo en una fortaleza bastionada. Se renovó y modernizó regularmente: recordamos la construcción de la Rampa Real, de un kilómetro de largo y pavimentada con adoquines, que conduce a la puerta principal, más allá de la cual hay dos subidas empinadas que llevan a la ciudadela real, construida alrededor del enorme Patio del Caballero, núcleo central de la estructura. Otras adiciones fueron una capilla (hoy desconsagrada, donde se celebran conciertos) y el pozo, de 70 metros de profundidad y construido durante cuatro años de excavación.

En el ‘700 continuaron las renovaciones. Una construcción potente, con cortinas adecuadas para la nueva artillería utilizada, más disruptiva y explosiva, y con obras de nueva concepción, como el frente de bastión occidental y la gran estructura externa, el Rivellino di San Carlo. Una arquitectura homogénea, cerrada en sí misma, que logra transmitir un carácter beligerante. También se convierte en la pieza central de un complejo fortificado constituido por otras obras menores, ubicadas en los dos lados del valle. En resumen, un sistema sorprendente que fue admirado por todos los contemporáneos de la época.
Derribado por los franceses en 1796, fue reconstruido entre 1818 y 1829 por el rey de Cerdeña, que volvió a la posesión de sus territorios. Se propone nuevamente la misma arquitectura preexistente, actualizándola solo a las nuevas exigencias militares.