Fengselet er tre etasjer høyt og har 57 celler på begge sider av en langsgående korridor med gallerier. Opprinnelig hadde fengselet 41 celler, men ble utbygd i 1920 med en ny fløy som skulle huse kvinner. Det opprinnelige fengselet var tegnet av arkitekt Franz Wilhelm Schiertz i 1861. Byantikvaren i Bergen tolker arkitekturen slik: ”Stilspråket er i overensstemmelse med den nøkterne og lett middelalderpåvirkede bruksarkitekturen i perioden.[…] Fengselet ble innredet etter den såkalte Philadephia-modellen, som bygde på prinsippet om én innsatt per celle. Dette innebar en radikal forbedring av forholdene for de innsatte, sammenliknet med det som fantes av tidligere arrestlokaler. Luftegården ligger i vifteform på bygningens vestside, og er en del av det opprinnelige anlegget.” (Byantikvaren, Kulturminnegrunnlag Rådhuskvartalet.)

Både cellesystemet og den vifteformede luftegården er nok adoptert etter fengselet i Philadelphia, men øvrig sammenlikning med det amerikanske fengselet er kanskje lite realistisk. Det er lite som tyder på at våre innsatte i Bergen kretsfengsel hadde totalt taleforbud, at de ikke hadde lov til å se på hverandre eller lese eller skrive. Det skal generelt sett ha hersket en god tone mellom voktere og innsatte, noe følgende vandrehistorie fra 1916-brannen understreker:

Da Bergen brant i 1916 sto Rådhuskvartalet i fare for å gå med i brannen. Ved fengselet så man ingen annen mulighet i denne katastrofen enn å slippe de innsatte fri. Før fangene fikk gå, ba ledelsen dem om å komme tilbake dagen etter. Med unntak av en eller to fanger skal alle ha møtt opp. Hvordan denne historien er forenelig med tanken om de umenneskelige forholdene ved et vaskekte Philadelphia-fengsel er vanskelig å forstå. Likevel finner vi enkelte synlige uttrykk for isolasjonstanken også i kretsfengselet, som cellevinduene som befinner seg så høyt plassert på veggen at det ikke er mulig å stå på gulvet for å se ut. De innsatte tilbrakte også i all hovedsak tiden på cellene, og all mat ble servert på celledøren. Det fantes et verksted på huset, som de innsatte kunne benytte, og som sagt luftegården.

Tanken om en innsatt i hver celle har til tider vært overprøvd. De 57 cellene som tilfredsstilte behovet i 1920, var ikke lenger nok verken under eller etter krigen. Gestapo flyttet inn i fengselet den 17. mai 1940, og bygde en ny etasje på vestfløyen i 1942. I 1943 huset fengselet 44 fanger på norsk avdeling og rundt 100 på tysk avdeling. Både under og etter krigen ble det tatt i bruk fangekolonier.

Bergen fengsel på Hylkje har vært i drift siden 1990, og mange innsatte beskriver det nye fengselet som et kardemommefengsel som man søker seg til fra andre deler av landet. Visstnok er tonen mellom innsatte og ansatte i Bergen fengsel helt spesiell, noe innsatte med erfaring fra andre fengsler finner positivt overraskende. Den vennskapelige og høflige tonen er angivelig medbrakt fra Bergen kretsfengsel.

Fengselsbygningen er fraflyttet i dag. Dessverre har den ærverdige murbygningen ikke vært vedlikeholdt, og framstår i dag som en ruin in spe. Hva som skal skje videre med fengselet er fremdeles uvisst.