Gimė Anykščių r., Paandrioniškio k., ūkininkų šeimoje. Motina Anastazija, tėvas Mykolas ir trys broliai Šermukšniai buvo Perkūno būrio partizanų rėmėjai ir ryšininkai. Netoli jų sodybos Vilkaraisčio miške buvo partizanų bunkeris, Šermukšnių šeima rūpinosi ten gyvenusiais partizanais, gamindavo jiems maistą ir teikdavo žinias. Juozas Šermukšnis 1947 m., eidamas 17-uosius, priėmė partizanų ryšininko priesaiką, bet po metų, 1948 m. gruodžio mėn., išduotas legalizavusio Perkūno būrio partizano Juozo Sankausko-Kaštono, sužalotas per tardymą Anykščių skrebyne: sulaužytas petikaulis, pažeisti du stuburo slanksteliai, atmušti vidaus organai, bet nieko neišdavė. Nuteistas 10 m. lagerio ir išvežtas į Magadaną. Ten, lageriuose, dirbo prie statybų, urano rūdos kasykloje „Bagadačia“ ir ilgiausiai volframo rūdos kasykloje „Aliskito“. Ištvėręs visas jam tekusias fizines ir dvasines kančias 1957 m. grįžo į Lietuvą ir apsigyveno Anykščiuose.