Johann Josef Loschmidt se narodil 15. března 1821 v Počernech u Karlových Varů v chudé rodině zemědělce. Rodina byla českého původu.
Již od dětství byl Loschmidt neobyčejně nadaný. V letech 1833 - 1837 studoval na piaristickém gymnáziu v Ostrově, později na gymnáziu v Praze. Poté absolvoval filozofickou fakultu na Univerzitě Karlově a studoval na technické univerzitě ve Vídni, kde v roce 1846 získal titul bakaláře v oboru fyzika a chemie.

Marně však usiloval o místo na vídeňské univerzitě a tak začal v roce 1856 vyučovat fyziku, chemii a matematiku na střední škole ve Vídni. V roce 1866 se stal soukromým docentem, v roce 1868 mimořádným profesorem. Od roku 1869 pracoval jako ředitel Laboratoře fyzikální chemie. V roce 1872 byl jmenován řádným profesorem fyzikální chemie na univerzitě ve Vídni. Roku 1877 se stal děkanem Filozofické fakulty.

Johann Josef Loschmidt je právem považován za jednoho ze zakladatelů atomové fyziky, zabýval se také chemií, elektrodynamikou, mechanickou teorií tepla, optikou a krystalografií.

V roce 1861 Loschmidt publikoval práci, ve které graficky znázornil strukturu benzenu a dalších 121 aromatických sloučenin. Jako první použil symboly pro skupiny atomů s realistickým znázorněním jejich velikostí a značením jednoduchých a dvojných vazeb. Svým vyjádřením kruhovité struktury benzenu předběhl o 4 roky Agusta Kekulého, kterému je dnes nesprávně připisován tento zásadní objev světové chemie. Kekulé nepochybně Loschmidtovu práci znal, ale nikdy ji necitoval.
V roce 1865 Loschmidt dokončil práci, ve které jako první na světě správně spočítal velikost atomu. V německé literatuře se dodnes setkáváme s pojmem Loschmidtova konstanta, která udává počet molekul v 1 krychlovém metru ideálního plynu za normálních podmínek.

Johann Josef Loschmidt se nesmírně zasloužil o rozvoj fyziky a chemie a je jistě velká chyba, že o něm v dnešní době veřejnost neví praticky nic. Byl nejen geniálním fyzikem a chemikem, ale i neobyčejně skromným člověkem.
Jeho jméno nese pracoviště, zabývající se molekulárními biotechnologiemi a proteinovým inženýrstvím na Masarykově univerzitě v Brně.

Johann Josef Loschmidt zemřel 8. července 1895 ve Vídni.