Het idee voor de bouw bestond al aan het eind van de XVIIe eeuw, maar deze werd om technische redenen uitgesteld. Uiteindelijk is het Napoleon Bonaparte die de werkzaamheden laat beginnen in 1801. In 1809 worden ze onderbroken en beginnen pas weer in 1841 met nieuwe technieken om het kunstmatige eiland te bouwen waarop het fort rust, dat in 1859 voltooid is. Maar dan is het bereik van de kanonnen van de rondom Fort Boyard liggende verdedigingswerken vergroot, zodat het fort achterhaald is.

Uiteindelijk heeft het fort aan het einde van de XIXe eeuw als gevangenis dienst gedaan voordat het rond 1910 door het leger wordt verlaten. Nadat het enige tijd aan plunderaars overgeleverd is geweest koopt het departement het fort in 1979 en laat het restaureren. De filmwereld en de bekende Franse televisieserie geven Fort Boyard, dat een historisch monument is, uiteindelijk de dankbaarheid en erkenning waar het recht op heeft.

Het fort is niet toegankelijk voor publiek, maar vele tochten die op zee worden georganiseerd geven u er een prachtig beeld van.