1940. a riigielus toimunud muudatused kajastusid ka koolis. Endistest õppeainetest jäeti välja inglise keel ja usuõpetus. Nende asemele tuli vene keel ja NSVL konstitutsioon. Õpetajatelt nõuti marksistliku maailmavaate omaksvõtmist. Seniste noorteorganisatsioonide asemel alustas tegevust komsomol, mis ei saanud kuidagi 1940.-41. õa omale jalgu alla. Peamine põhjus oli õpilaste isamaaline hoiak. Neisse, kes astusid komsomoli, suhtuti vaikse põlgusega. Õpilaste ja õpetajate poliitilist meelsust ei suutnud oluliselt muuta isegi tugev poliitiline kontroll ja järelvalve.

Juunis 1941 jõudis sõda Eestisse. Algasid Saksa okupatsiooniaastad. Juba 1941. a augustis asus gümnaasiumi ruumidesse sõjaväehaigla ja õppimiseks sai kasutada vaid hoone esimest korrust. 1942. a sügisel võeti kogu gümnaasiumi hoone sõjaväehaigla alla ja keskkooli õpilased käisid õppimas algkoolis teises vahetuses.1943. aasta suvel võttis Saksa sõjavägi ka algkoolihoone oma käsutusse. Siiski anti 1943/1944. õppeaastaks kahele koolile võimalus kasutada keskkooli alumist korrust, kus õppetöö toimus neljas vahetuses.

Leningradi rinne varises kokku 1944. a teisel poolel. Taganevad sakslased võtsid kogu keskkooli enda alla ja koolid lõpetasid tegevuse 28. jaanuaril 1944. 18. septembril algas Saksa sõjaväe massiline taganemine. Öösel vastu 19. septembrit purustasid Saksa hävituskomandod  kõik, mida jõudsid. Jõhvis purustati raudteejaam, mõisa härrastemaja, suur hulk elumaju ja gümnaasiumihoone.