Rosenkrantztårnet har navnet sitt etter lensherren på Bergenhus i perioden 1560-68, Erik Ottesen Rosenkranz. Erik Rosenkrantz var en av tvillingrikenes mest velstående menn, og formuen hans økte ved giftemålet med den unge Hedvig Hardenberg. Imidlertid blir ikke Rosenkrantz husket i Bergen hverken for ekteskapet med Hedvig eller sin store rikdom. Derimot er han husket som mannen som skapte store endringer i hanseatenes maktsituasjon.

Da Erik Rosenkrantz ankom Bergen i 1560 som nylig utnevnt lensherre til Bergenhus var det mange år siden han hadde pekt på problemet med den egenrådige og mektige hansaen. I brevs form hadde Rosenkrantz varslet kongen om hasaen i Bergen sin manglende deltakelse i samfunnet, ikke minst økonomisk. Da Rosenkrantz forsterket tårnet var det ingen tvil om hensikten – vendt mot tyskebryggen ble tårnet en demonstrasjon av kongemaktens styrke.

Men bygget er eldre enn som så. I Magnus Lagabøtes tid i 1270-årene ble det bygget et kastell; et ringmurstårn med vollgrav og vindelbro. Tårnet har vært omtalt som "Kastellet ved sjøen", og var både bolig og forsvarstårn. Her hadde kongen også innredet et kapell. Senere har dette bygget blitt påbygd i i alle fall tre perioder. Rosenkrantz satte tårnet i stand, og forhøyet det under sin periode, omtrent slik som vi kan se det i dag.

Nederst i kjelleren til Rosenkranztårnet ligger fangehullet. Det regnes som svært sannsynlig at fangehullet ble bygget og tatt i bruk på slutten av 1400-tallet eller begynnelsen av 1500-tallet. Christoffer Valkendorf, lensherre fra 1556-60, fikk satt tårnet i stand etter en ødeleggende eksplosjon i kruttkammeret. Det kan ha vært Christoffer Valkendorf som sto for byggingen av fangehullet, men sannsynligvis var det en av forgjengerne hans. Fangehullet er om lag 4x1 meter, med nok takhøyde til at det er plass til å stå. Fangehullet var fuktig og mørkt, den eneste lyskilden var en liten luftesprekk. 

Man tror at fangehullet først og fremst ble benyttet til fanger som ble vurdert som svært voldelige, og som kom fra de lave sosiale lag. Dersom vi leser arkitekt Peter Blix sin innberetning av 25. februar 1884, etter hans undersøkelser i tårnet, så nevner han at "gamle Folk vil endnu kunne erindre den Mand der sidste Gang sad i dette Hul". Ut fra dette må vi kunne slutte at fangehullet fortsatt var i bruk et stykke ut på 1800-tallet.

Det skal også ha eksistert andre fangehull ved Bergenhus slott og festning opp gjennom tiden. I Magnus Lagabøtes bylov er Myrkstofa nevnt, så også et «ransakshus». Edvard Edvardsen forteller i sin bergensberetning fra andre halvdel av 1600-tallet om to høye tårn, som i kjelleren inneholder «adskillige Fængelser for Misdædere».