A középkorban Veszprémben nem volt még börtön, a rabokat a várhegy üregeiben őrizték. 1754–1763 között épült fel Veszprém vármegye új székháza (Vár u. 19.), benne helyet kapott a törvényszék és a tömlöc is. Az emeletes új épület azonban túl szűknek bizonyult, a megyei főorvos pedig már 1777-ben figyelmeztetett az ott uralkodó tarthatatlan állapotokra. A rabok közül három év alatt 27 férfi és 5 nő halt meg, közülük 21 még ítéletét várta. 1793-ban a börtönt kibővítették, de a zsúfoltságot csak átmenetileg oldotta meg.  

Az 1810-es földrengés komoly károkat okozott a vár épületeiben, azok átépítése elkerülhetetlenné vált. A vármegyeháza – és vele a fogház – megépítésére a megye közgyűlése 1846-ban hozott határozatot. Az építkezés egy év múlva kezdődött meg, és 1853-ban átadták az ötszintes épületegyüttest, amelynek két szintje a várudvar felett, három az udvar alatt helyezkedett el.  

1886–1887-ben az épületegyüttest a Törvényszék vette használatba, hamarosan azonban már ez is szűknek bizonyult. A börtönnek önálló utcai bejárata sohasem volt, járművekkel és gyalogosan is a közös nagy kapun át lehetett megközelíteni. Az épületen megépítése óta – kisebb átalakítások kivételével – nem történt szerkezeti változtatás, 2003-ig az ország egyetlen működő várbörtöne volt.

Az 1763-ban elkészült új tömlöcök a vastag várfal mögötti pinceszintre kerültek. Voltak, amelyek ajtó-ablak nélküli üregekben helyezkedtek el, ezeket csak a boltozaton keresztül, egy búvónyíláson át lehetett megközelíteni. A zsúfoltság, a napi egyszeri étkezés és a rossz higiéniás körülmények miatt 1777-ben a vármegye főorvosa figyelmeztette a közgyűlést a börtönben levő veszélyes állapotokra.

A régi megyeházát 1904-ben átépítették, de a zsúfoltság problémája továbbra is megmaradt. Az ötszintes épületben a börtön a legalsó, -3. szintre került. A rabok ellátása szegényes volt: hetente váltott ruházat, szalmazsák, szalmavánkos, télen kettő, nyáron egy pokróc és lepedő. Reggel 7 és délután 1 óra után fél óra séta az udvaron. Napi egyszeri melegétkezés, fél 12-kor. Naponta egy rab 56 dkg kenyeret kapott. A leves egyik nap burgonya, másik nap rizs, harmadik nap bab, negyedik nap köleskása volt. A főzelék káposzta, burgonya, kása, gombóc és így tovább. Minden vasárnap és csütörtökön a főzelékhez 16 dkg marhahús járt.

2003-ban az ebben az épületben lévő börtön bezárt. Az új helyszínre költöztetett börtön jelenlegi befogadóképessége: 512 fő. Az intézetben férfi és női fogvatartottak egyaránt elhelyezhetők. Reintegrációjuk, vagyis az elítéltek társadalomba történő visszaillesztése munkáltatással, oktatással, jóvátételi programokkal és a társadalmi felelősségvállalás erősítésével valósul meg. Nem elég a fogvatartottakat bezárni, tenni is kell azért, hogy a büntetés letöltése után minél kevesebben kerüljenek vissza a börtönbe. Ebben segítenek a büntetés-végrehajtási intézetek dolgozói a reintegrációs tisztek, a pszichológusok, a pártfogó felügyelők és a börtönlelkészek.

Az épület szimbólummá vált a helyi emlékezetben. Nemcsak hosszú története miatt, hanem mert itt raboskodott a nyilas uralom idején Mindszenty József veszprémi püspök, későbbi esztergomi érsek, hercegprímás. Mindszenty letartóztatása után a veszprémi rendőrségen raboskodott 1944. december 5-ig, majd a helyi fogházba, vagyis ide került át december 22-ig.  

Szintén itt raboskodott Brusznyai Árpád klasszika-filológus, a diákok kedvenc középiskolai tanára, aki a Veszprém Megyei Nemzeti Forradalmi Tanács vezetőjeként vett részt az 1956-os forradalom eseményeiben. Brusznyai az MSZMP megyei első titkárának, Pap János későbbi belügyminiszternek a közbeavatkozása nyomán került hóhérkézre. 1958. január 9-én végezték ki. 

1956 novemberében itt gyűjtötték össze a szovjet katonai hatóságok a forradalomban részt vett veszprémi egyetemistákat és több oktatójukat is, akiket aztán Galíciába, majd Kárpátaljára hurcoltak.