Slaveriet ble opprettet fordi straffarbeidsanstalten ved Bremerholm orlogsverft i København ble nedlagt. Dette fengselet hadde tatt imot langtidsdømte fanger fra både Norge og Danmark. Fra 1739 skulle straffanger være innsatt ved lokale festninger.

Arbeidet som fangene utførte ved Slaveriet skulle være samfunnsnyttig. Blant annet hadde de forsynt leprapasientene ved St. Jørgens hospital med kammer og skjeer som de hadde laget av horn og bein. Andre arbeidsoppgaver kunne være å spinne hamp, lage fiskenot, og skredderarbeide til bruk på Slaveriet. Fangene lagde sko til hæren, tønner, bøtter og baljer. De snekret og smidde, og lagde leketøy og kniver. Om sommeren ble en del fanger satt til å gjøre tyngre arbeid på festningen.

Fangene skal ha hatt et hyggelig forhold til byens folk, som de også kunne bli satt til å arbeide for. Byens borgere kunne leie arbeidskraft fra slaveriet. Hovedårsaken til denne utleievirksomheten var at slavene ikke hadde nok arbeid innenfor murene.

"Venstre bukseben og høyre trøyedel var grått, motsatt side var svart."

Fangene var kledd i svart og grå vadmel. Venstre bukseben og høyre trøyedel var grått, motsatt side var svart. Med fotjern og raslende lenke hengende etter seg, var dette en markant klesdrakt i bybildet.

Boforholdene til fangene var ikke gode. I 1860, sytten år før Slaveriet ble avviklet, skrev Paul Magnus Norum, daværende direktør ved Botsfengselet i Oslo, en ”Beretning og Betænkning angaaende Strafarbeidsvæsenet i Norge”. Om Slaveriet forteller han blant annet:

”Det egentlige Slaverie, der, hvad den nederste Etage angaar, er en særdeles gammel Bygning, oprindelig bestemt til Fæstningens Hovedvagt og til opbevarelse av Fæstningsarrestanter. [Den fikk] en paabygning av en anden etage, ligesom senere ifølge Kongelig Resolution af 15de Juli 1840 en 2etages Tilbygning, der kostede 2200 Spd. Den er beliggende i en trang Forsænkning i et Batterie ligesom paa Bunden af en Brønd, og rager kun med Tagmønningen opover de omgivende Bolde og Bygninger. Beliggenheden er derfor i sig selv fugtig og mørk. End mørkere ære Værelsene derved, at flere af Vinduerne ere gaaede tabte ved den omtalte Tilbygning. I den gamle Deel af Bygningen er i den nederste Etage Soverum for 40 fanger […], i 2den Etage 3 Soverum, det ene for 40 og de tvende andre for omtrent 20 fanger.”

Når fanger ved slaveriet døde, ble de begravet på fattigkirkegården Fredens Bolig, eller ”Graven”, som er Krohnengen skoles skolegård i dag. Begravelsen forgikk ved daggry, på en avsidesliggende del av kirkegården.