Het is gebouwd om de monding van de Charente, de haven van het île d’Aix en het arsenaal van Rochefort te beschermen, als aanvulling op de verdedigingslijn die langs de kust en op de eilanden van de Charente-Maritime was aangelegd. Het avontuur van de bouw, door Napoleon besloten, heeft 30 jaar geduurd. Alleen al voor de funderingen was 20 jaar nodig...

Het was een moeizame onderneming: door de stormen die de onafgemaakte muren afbraken, het kapseizen van de schepen die de stenen aanvoerden en de Engelse aanvallen, vorderen de werkzaamheden zeer langzaam. Pas in 1859 zijn ze voltooid.
Napoleon zou het resultaat niet meer meemaken, ook niet toen hij het île d’Aix verliet om in ballingschap te gaan. Maar de evolutie van de artillerie is sneller gegaan dan de bouw en het fort is daarom nutteloos zodra het eenmaal af is. Het heeft omgerekend meer dan tweehonderd miljoen euro gekost. Het was de trots van die tijd, er werd zelfs een maquette van gepresenteerd op de wereldtentoonstelling van 1867.

Voordat het in 1913 werd afgekeurd diende Fort Boyard als gevangenis. Het werd door het leger verlaten en in 1961 is het verkocht voor 7500 Franse Francs (ongeveer € 1144,--) . Er waren maar twee kopers. Maar de koper had blijkbaar noch het geld, noch de tijd om zijn nieuwe eigendom te onderhouden.
De filmindustrie gaat het fort een aantal keren gebruiken. Maar uiteindelijk is het de televisie die Fort Boyard redt. Sinds 1989 is het fort eigendom van de Departementsraad en kent het een nationale en internationale mediacarrière, sinds de eerste uitzending in 1990 van het televisieprogramma “Fort Boyard”.

Bovendien kunnen cruises gemaakt worden naar de voet van de stenen reus, symbool van de rijkdom van het erfgoed in de Charente-Maritime.