Jaanuaris 1919 loodi kohtuministeeriumi juurde Vangimajade Peavalitsus, millele allutati vanglad ja arestimajad. 

Uue vanglana avati oktoobris 1920 Tallinna Keskvangimaja, rahvasuus tuntud kui Patarei, mis esmajoones oli mõeldud poliitvangidele.

1920. aastate algul muutus üha aktuaalsemaks uue sunnitöövangla rajamine kriminaalkurjategijatele. Kohtuministri asutatud komisjon pakkus asukohaks Muhu saare lähedase 1,7 km² suuruse Kesselaiu (Kessulaid), kust kavatseti mõned kaluripered ümber asustada ning mahajäänud ehitised anda valvuritele korteriteks. Juunis 1922 oli Eestis 209 sunnitöölist. 

Septembris kinnitas valitsus kohtuministri ettepaneku ja uue "sunnitöökohamaja" asukohaks määrati Kesselaid. Eelarve koostamisel selgus kulutuste tegelik ulatus, nii hakati suvel 1924 uut kohta
otsima.

Selleks valiti Harjumaal riigistatud Harku mõis. Plussidena toodi välja, et koht asub Tallinna külje all, Harku lähedal on ulatuslik turbaraba ning siia saab asutada kivitööstuse, mõisa põllu- ja karjasaadusi saab kasutada vangide toitmisel, kohalikud elanikud on juba vangidega harjunud.

Nimelt tegutses Harkus 1919. aastal asutatud "alaealiste kurikalduvustega poisslaste parandus-kasvatusmaja" ehk poiste koloonia, mille õu piirati tsementpostidele toetuva 2,4 m
kõrguse laudadest planguga. Parandusmaja nimetuseks oli Harku kolonii. Koloonia juures asusid kuueklassiline algkool ja õppetöökojad. 

1. jaanuaril 1922 oli Harku alaealiste parandusmajas 125 kasvandikku. 

Tõsi, kohalikud elanikud ei tahtnud kinnipidamiskoha laienemist ja nad protesteerisid mõisa üleandmise vastu. Vangimajade Peavalitsuse esindajad rääkisid, et siia saadetakse hooajatöödele vange ja alalisi töölisi, kes mõisa karja ja aia eest hoolitsevad koos Harku koloonia kasvandikega, seega pole kartust, et vangid hakkavad kasvandikke halvas suunas mõjutama. Mais 1920 anti Harku mõis üle vanglaasutusele. 

Alates 1920. aasta suvest kasutati Harkus turbaraba töödel kergema karistusega vahialuseid, keda vastavate hoonete puudumisel hoiti mõisa viinavabriku hoones. Hiljem rajati lihtsad puubarakid nii mees- kui  naisvahialustele. 

Harku vangla uus ajakohane hoone sai valmis 1928, vangla läks käiku 1930. aastal. 

Siin kasutati nn inglise-iiri progressisüsteemi, kus kurjategija oli I ehk katsealusel astmel täielikus üksikvangistuses, II ja III astmes isoleerituna üksikkongis, aga päeval töötas vang ühisruumides, IV astmes võis eeskujulikult käitunud vang elada 4-5kohalistes kambrites ja loota tingimisi ennetähtaegsele vabastamisele.

Vangide tööd korraldas riiklik ettevõte Harku Turbatööstus. Harku turbarabas ning mõisas töötas suvekuudel kuni 400 vahialust. Turbatööstuses töötati tükitöö alusel ning kasutati kolme elektrilist turbapressi, elektrit saadi Ellamaa jõujaamast. Näiteks 1930. aastate algul töötati aastas välja u 6000 tonni pressturvast, mida müüdi esmajoones teistele vanglatele ning riigiasutusele.

1938. aastal täienes Harku kahe uue kinnipidamiskohaga. 1. jaanuaril 1938 asutati Murru vangimaja kivitööstusena, kus rakendati tööle kuni 400 süüdimõistetut, augustis avati tööpõlgurite laager.