Juozapas Holiakas gimė 1812 m. sausio 18 d. Kriauniškėje, šalia Marijampolės, stambaus ūkininko šeimoje. Jo brolis Andrius Holiakas tapo kanauninku bei Seinų kunigų seminarijos rektoriumi, o kitas brolis pasirinko girininko profesiją. Juozapas pasirinko teologijos studijas, kurias 1832–1837 m. baigė Seinų bei Varšuvos kunigų seminarijose ir Dvasinėje akademijoje Varšuvoje. 1837 m. jis buvo įšventintas kunigu.
1837–1855 m. Juozapas Holiakas dirbo Varšuvos Kurčnebylių institute prefektu ir tikybos mokytoju. Vėliau ėjo klebono pareigas įvairiose parapijose: nuo 1846 m. Radzymine prie Varšuvos, nuo 1866 m. Solce, o nuo 1868 m. – Visų Šventųjų parapijoje Varšuvoje. 1883 m. jis buvo paskirtas Augustavo vyskupu sufraganu ir Vilkaviškio klebonu. Gyvendamas Vilkaviškyje, pasikvietė ir kurį laiką globojo Č. Sasnauską.
Ilgametis darbas su sutrikusios klausos auklėtiniais paskatino jį parengti metodinių bei švietėjiškų leidinių. 1879 m. kartu su kunigu T. Jagodzinskiu jis išleido pirmąjį Europoje žodyną kurčnebyliams. Vyskupas ir pedagogas mirė 1890 m. spalio 27 d. Vilkaviškyje.
Šis kūrėjas šių dienų skaitytojui įdomus kaip vienas iš specialiosios pedagogikos pradininkų, parengęs pirmąjį Europoje žodyną kurčnebyliams. Jo gyvenimo kelias rodo gilią dvasininko atsakomybę už labiausiai pažeidžiamus visuomenės narius ir pagalbą kitiems kultūros kūrėjams.