W czasie okupacji niemieckiej w pierwszym okresie funkcjonowania Pawiaka do marca 1940 r. więzienie podlegało Wydziałowi Sprawiedliwości Urzędu Generalnego Gubernatorstwa. W marcu tego roku Pawiak stał się więzieniem śledczym Policji Bezpieczeństwa i Służby Bezpieczeństwa Dystryktu Warszawskiego a szczególnie jej Wydziału IV Tajnej Policji Państwowej – gestapo, największym więzieniem politycznym na terenie okupowanej Polski.
Szacuje się, że na około 100 tys. więźniów, którzy przeszli przez Pawiak w latach 1939-1944 – 37 tys. zginęło w egzekucjach, zostało zamordowanych w czasie przesłuchań na Szucha lub w celach, albo zmarło w szpitalu więziennym. Egzekucje na więźniach odbywały się początkowo w ogrodach sejmowym i uniwersyteckim, od grudnia 1939 do lipca 1941 r. na skraju Puszczy Kampinoskiej w pobliżu wsi Palmiry. Od jesieni 1941 r. m.in. w Szwedzkich Górach, Wólce Węglowej, Laskach, na wydmach Łuże, w Lasach Kabackich, w Lasach Chojnowskich koło Stefanowa, w Magdalence, w Bukowcu koło Jabłonny.
Po stłumieniu powstania w getcie więźniów rozstrzeliwano na sąsiadujących z Pawiakiem ulicach – Dzielnej, Gęsiej, Zamenhoffa, Nowolipkach. Od października 1942 r. w Warszawie odbywały się egzekucje publiczne na ulicach miasta. Nazwiska rozstrzelanych umieszczano na obwieszczeniach lub ogłaszano z ulicznych megafonów.
Nigdy nie będziemy mogli ustalić ile tysięcy osób pochodzenia żydowskiego w latach 1939-1944 przeszło przez Pawiak i Serbię. Stwierdzono, że szczególnie ich dużo było zwłaszcza po zamknięciu getta w listopadzie 1940 r., a także w czasie pierwszej akcji likwidacyjnej w lipcu-sierpniu 1942 r.
Masowe zbrodnie na Pawiaku w maju 1943 wstrząsnęły Warszawą. Na murach domów, tablicach ogłoszeniowych, nawet chodnikach pojawiły się napisy „Pawiak pomścimy”. Na Pawiak przywożono masę ludzi złapanych w ulicznych łapankach i obławach. Na ulicach odbywały się publiczne egzekucje mające na celu zastraszenie mieszkańców stolicy. Egzekucje więźniów od 16 października 1943 r. do 12 lutego 1944 r. odbywały się codziennie, a nawet kilka razy w ciągu dnia.
Około 60 tys. więźniów wywieziono do obozów koncentracyjnych, najwięcej do Auschwitz-Birkenau a także do Ravensbrűck, Gross-Rosen, Majdanka, Stutthofu, Sachsenhausen, obozu pracy w Treblince i do Buchenwaldu. Więźniowie Pawiaka po wcześniejszym pobycie w tych obozach osadzani byli także m.in. w Mauthausen-Gusen, Dachau, Flossenburgu i Bergen-Belsen.
Na Pawiaku szczególną i niespotykaną na tę skalę w innych więzieniach rolę odgrywała konspiracja. Łączność działała w oparciu o dwie siatki – zewnętrzną i wewnętrzną. Już w 1939 r. rozpoczęła działalność komórka więzienna SZP (Służba Zwycięstwu Polski) a następnie ZWZ-AK (Związek Walki Zbrojnej – Armia Krajowa). Pod koniec 1942 r. powstała komórka więzienna Delegatury Rządu. Kontakty zewnętrzne utrzymywane były przez polskich funkcjonariuszy więziennych, lekarzy z miasta oraz delegatkę i pracownice Patronatu. Z siatką wewnętrzną współpracowali więźniowie funkcyjni – lekarze, pracownicy administracji więziennej i kolumny sanitarnej oraz więźniowie, którzy pracowali w warsztatach.
Wynikiem współdziałania komórki więziennej na Pawiaku z wolnością były słynne akcje zapoczątkowane odbiciem 26 marca 1943 r. przez specjalny Oddział Grup Szturmowych Szarych Szeregów pod Arsenałem Jana Bytnara „Rudego” komendanta Hufca Południe oraz innych więźniów przewożonych z siedziby gestapo w al. Szucha na Pawiak. W następstwie współpracy komórki więziennej z Armią Krajową Kierownictwo Walki Podziemnej wydawało wyroki śmierci na gestapowców i katów z Pawiaka i Szucha. Ukoronowaniem tych akcji był udany zamach, dokonany 1 lutego 1944 r. przez oddział dywersyjny KG AK „Pegaz” na dowódcę SS i Policji Dystryktu Warszawskiego, gen. Franza Kutscherę, odpowiedzialnego za masowe egzekucje publiczne w Warszawie.
Wobec zbliżającego się frontu w lipcu 1944 Niemcy rozpoczęli likwidację więzienia. 30 lipca 1944 wysłano ostatni transport ewakuacyjny 1400 więźniów mężczyzn do KL Gross-Rosen i 400 kobiet do KL Ravensbrück. Tylko niewielu więźniom udało się ujść z życiem.
Zbiorowych egzekucji pozostałych więźniów Niemcy dokonywali jeszcze 13 i 18 sierpnia 1944 w czasie Powstania Warszawskiego.
21 sierpnia 1944 opustoszałe zabudowania Pawiaka i Serbii wraz z przyległymi budynkami przez oddział niemieckich minerów zostały wysadzone w powietrze.
