Sem fengsel (tidligere Sem kretsfengsel) er et fengsel med høyt sikkerhetsnivå som ligger på Sem ved Tønsberg. Fengselet er underlagt Kriminalomsorgens region sør. Fengselet har ordinær kapasitet på 62 plasser fordelt på innsatte med varetektsdommer og domfelte med kortere dommer. I fengselet er det kun menn som soner.
Sem utenfor Tønsberg har siden 1843 vært sted for fengsel. Allerede i 1838 besluttet Jarlsberg og Larviks amt at de ville bygge et arresthus på Sem. Tomten ble først tildelt ved Tem gård, men i 1841 fikk amtet leid tomt av grev Wedel-Jarlsberg der hvor fengslet ligger i dag.
I 1843 sto arresthuset ferdig til bruk. Det inneholdt rettslokaler i første etasje, og celler i andre etasje. Etter at bygningen ikke lenger var i bruk til det opprinnelige formålet, har huset vært brukt som leiligheter for ansatte, og da i første rekke for inspektøren. Derav dagens betegnelse «inspektørboligen».
Bygningen er verneverdig, og har i 2009 fått nytt tak. Bygningen er i dag i bruk som treningslokaler for ansatte og foreningslokaler for fagforeningene. Det foreligger planer om å ferdigstille restaureringen av huset.
I 1853 ble det besluttet å bygge en ny fengselsbygning. Denne fikk navnet Sem tvangsarbeidsanstalt. Den utgjør i dag avdeling A ved fengslet. I 1857 ble nok en bygning reist på vestsiden av den forrige. Det er den som i dag kalles avdeling B.
Avdeling A ble etter hvert til Sem kretsfengsel, mens avdeling B helt fra arbeidsskolen ble innført i 1951 har vært Sem- avdeling til Berg, eller Berg avdeling lukket som den også ble kalt. Dette vedvarte også gjennom ungdomsfengselstiden i perioden 1965 til 1975, og frem til sammenslåingen med Sem kretsfengsel.