Historien om Kastellet begynder i 1687 hvor Kong Christian V beslutter at Rønne skal gøres til en fæstning, med en flådebase rettet mod arvefjenden Sverige. 

Plan over Rønne fæstning 1687.

I årene frem til 1688 byges en vold med grave rundt om Rønne, og store arealer udlægges til en ny by.

På de to rev der strækker sig ud i havet skulle anlægges en havn, der dog aldrig blev til noget. Sydligst, i et lukket værk, opførtes i 1688 - 89 et svært kanontårn, hvorfra man kunne sikre havn og området syd for byen.

Tårnet blev opført med 4 meter tykke massive mure med smalle skydeskår til nærforsvar og øverst med et dæk til 10 svære kanoner, der aldrig kom i aktivitet i krigstid.

Rønne fæstning fik ikke nogen lang levetid: Der kom aldrig kanoner til voldene og i løbet af nogle årtier var volde og grave stort set udjævnet og arealerne givet tilbage til byens borgere.

I 1744 kom et nyt forslag om befæstninger, med det blev ved planen. Arealet omkring tårnet forblev i forsvarets eje og brugtes som eksecerplads frem til 1882, hvor en del af området solgtes til en ny kirkegård. I 1816 blev der bygget et magasin til kanoner ved tårnet, der siden 1750 havde været brugt til krudtmagasin.

Til afløsning af Kastellet der efter 1700 ikke indgik i forsvaret af Rønne havn blev der bygget en skanse ved kysten umiddelbart nedenfor tårnet. Skansen kom til at hedde Reetz´s Batteri efter kommandanten på Bornholm, eller Kastelsbatteriet. I dag lyder området ved skansen navnet Kanondalen.

I 1977 afholdtes en udstilling om det bornholmske forsvar og der opstod derved ideen om en permanent udstilling om Bornholms forsvars historie. Magasinbygningen, der blev brugt af Bornholms Værn som depot, blev stillet til rådighed for en forening "Kastellets Venner", der i 1980 åbnede en permanent udstilling Forsvarsmuseet på Bornholm.

Prospekt over Rønne 1756. Kastellet ses længst til højre