Kastellet, også benævnt citadellet, skulle tjene som et sidste forsvar i tilfælde af, at selve fæstningen blev indtaget. Herfra var der en mulighed for at holde fjenden stangen så længe, at man kunne evakuere hovedparten af tropper og materiel til Fyn ad søvejen.
Kastellet bestod oprindeligt af det indre kastel omgivet af befæstede volde og det ydre kastel (esplanaden) afgrænset af demarkationslinien, inden for hvilken der ikke måtte opføres bygninger eller andet, der kunne tjene som dækning for fjender.
Kastellet ligger på det sted på Bers Odde, hvor Svenskerne i sin tid anlagde de første skanseanlæg, som senere blev tilbageerobret af Anders Bille, der derefter fandt stedet velegnet til placering af det store fæstningsanlæg kongen ønskede. Oprindeligt lå der flere militære bygninger her. B.la. den imponerende Proviant- og Arsenalgård bygget under Frederik V. En bindingsværkbygning i 2 stokværk med det grovere fæstningsskyts i underste etage og med håndvåben, mundering og anden udrustning på 1. sal. Desuden lå her en vagtbygning. Proviant- og arsenalgården blev, tillige med vagtbygningen, skudt i brand af vore egen flåde da kommandørkaptajn Steen Andersen Bille med "Hekla" og 6 kanonbåde bombarderede kastellet da det var besat af oprørshæren i maj 1848.
Nu er den eneste bygning i Kastellet det nyrestaurerede krudtmagasin der er en erstatning for det, der sprang i luften 8. maj 1848 under flådebombardementet.
I kastellet og på stierne nedenfor langs Østerstrand var der, i fæstningstiden, adgang forbudt for civilister. Kun militærpersoner og deres familier havde adgang. Her kunne officererne i fred og ro prommenere med deres damer. Det var dog, en tid før området blev frigivet, muligt for civile at købe et årsskort til Østerstrand hos garnisonen. På kastellets område lå også officerhaverne.
I nyere tid har kastellet været brugt til friluftsteater, tivoliplads og sportsplads for Købmagergades skole. I mange år sluttede 6. julifesterne her med tivoli og et stort fyrværkeri. Kastellets forterræn kaldes Esplanaden. På esplanaden lå tidligere en park kaldet Carolinelund. Området er i dag ved at blive rydet for den tidligere gødnings- og syrefabriks bygninger.

PORTE

Adgangen til fæstningen fra landsiden foregik gennem 3 porte i volden. Fra søsiden kunne man anløbe skibbroen i Kastellet.
Hver af portene havde en portvagt der sørgede for at kontrollere ind og udpassagen. Ved portene opkrævedes også skat (accise) som var pålagt de varer bønderne fra de omkringliggende landsbyer bragte ind til byen for at sælge på torvet. Tolderne der opkrævede, havde deres egen accisebod ved Kongens Port. Adgangen til Kastellet kontrolleredes af Kastelsvagten. Mod syd lå Strandporten senere Søbjergporten, mod nord Kongens Port og i midten, hovedporten Prinsens Port. Hovedvagten ved Prinsens Port havde tidligere en bygning hvor fæstningsslaverne boede.
i dag er der Nørreport og Danmarksport kommet til. desuden er vejen ført gennem volden ved Sjællandsgade. Den sydligste del af volden stopper med 1/2 Holstens Bastion. Resten har måttet vige for havn og bane.

Byrådsmøde 6/8 1913 ang. kommunens køb af fæstningsværkerne:
Pkt. 3 på dagsordenen.
Skrivelse fra 1. ingeniørdirektion af 19. juli d. Å, hvorefter byrådets tilbud om overtagelse af fæstningsterrænet i alt væsentligt modtages.
Byrådet har i sin tid tilbudt at betale 100.000 kr., således at der betales 2.500 hver termin, samt at den til enhver tid indestående kapital forrentes med 4 procent medens resten er afdrag og således at militæretaten vedblivende påtager sig polititilsynet.
Ministeriet finder betalingen nogenlunde antagelig men vil ikke påtage sig noget polititilsyn. De militære myndigheder havde dog erklæret, at kunne yde nogen assistance i så henseende, ligesom de på terrænet værende vejes vedligeholdelse skal overgå til kommunen, ligesom der træffes en del bestemmelser om statsbanernes rettigheder.
Loehr: Det eneste der praktiskt talt er os imellem, er altså polititilsynet der vil dreje sig om ca. 3.000 kr. årligt. Imidlertid åbnes der jo her en bagdør gennem militærvæsenets tilsagn, og der er vel i hvert fald intet at gøre. I det hele og store er det en for kommunen god overenskomst og vor borgmester har haft en heldig hånd ved dette spørgsmåls løsning. Det drejer sig om ca. 1½ mil. kvadratalen, hvoraf den halve million er gode byggegrunde. Jeg henstiller at kasse- og regnskabsudvalget bemyndiges til at arbejde videre og afslutte overenskomsten.
A. Petersen: Er planteskolen med i overenskomsten, den er jo nødvendig for havnen?
Den er desværre ikke med, men må jo kunne erhverves når tiden engang gør det nødvendigt.