Josef Hlávka se narodil 15. 2. 1831 v Přešticích jako syn úředníka. Už od dětství měl zájem o architekturu a proto otec rozhodl, že po gymnaziálních studiích bude studovat na technice v Praze a potom Akademii výtvarných umění ve Vídni. Tam si také přivydělával zednickými pracemi.
Brzy se seznámil s různými architektonickými směry. V roce 1856 získal státní stipendium a uskutečnil poznávací cestu po Evropě. Když se vrátil domů, vzhledem k tehdejší ekonomické situaci nenašel místo v oboru architektury a stal se stavitelem. Ze začátku byl ředitelem kanceláře stavitele Františka Šebka, který mu po odchodu do penze stavební kancelář odkázal.

Brzy se stal uznávaným stavitelem. V roce 1860 vypracoval na pokyn ministerstva kultury projekt rezidence řeckokatolického biskupa v Černovcích v Bukovině, za který obdržel II. cenu na světové výstavě v Paříži v roce 1867. V roce 1861 zvítězil v soutěži na výstavbu Dvorní opery ve Vídni a za realizaci získal od císaře titul stavebního rady. V roce 1862 dostal zakázku na Zemskou porodnici v Kateřinské ulici v Praze.
Byl jmenován do celé řady významných funkcí a mnohokrát oceněn státními vyznamenáními.

V letech 1860 - 1869 postavila jeho kancelář 142 staveb a zaměstnávala celkem 19 architektů. Hlávka sám byl nesmírně pracovitý člověk a jeho neobyčejná píle se mu prakticky stala osudnou - v roce 1869 ochrnul na obě nohy. Uchýlil se tedy na zámek v Lužanech, který v roce 1866 koupil pro svou matku, a v roce 1880 se jeho zdravotní stav zlepšil a opět mohl chodit.

Hlávka si velmi cenil vzdělanosti a kultury českého národa, podporoval je a získal si věhlas jako známý mecenáš. Podporoval založení České akademie věd a umění, stavby studentských kolejí, stavby nové budovy Akademie výtvarných umění a další.
Financoval ale také například první kompletní překlad Shakespearova díla, podporoval Julia Zeyera, Oskara Nedbala a jiné významné umělce.

V Praze založil České universální nadání Josefa a Marie Hlávkových, do kterého vložil 22 000 zlatých. V roce 1883 věnoval České vysoké technické 25 000 zlatých k založení Českého technického nadání Josefa a Marie Hlávkových pro studia na výtečných dílech, v roce 1884 založil při Královské České Společnosti nauk Jubilejní fond pro vědeckou českou literaturu s nadační listinou 20 000 zlatých, v roce 1891 založil Fond na zřízení jezdecké sochy sv. Václava před budovou musejní na Václavském náměstí. Celkem věnoval Hlávka za svého života různým nadacím 1 466 000 korun.

Dne 25. 1. 1904, tedy 4 roky před smrtí, sepsal závěť. Neměl děti a tak svým jediným dědicem ustanovil Nadání Josefa, Marie a Zdenky Hlávkových.

Josef Hlávka zemřel 11. 3. 1908.