Parafia św. Józefa należała do parafii św. Barbary w Królewskiej Hucie i została w 1912 r. z niej wydzielona. Inicjatorem budowy kościoła był ks. Paweł Łukaszczyk, proboszcz parafii św. Barbary, który zmarł w 1905 r. Plany architektoniczne sporządził prof. Joseph Schmitz z Norymbergii.
W dniu 16 października 1904 r. położono kamień węgielny pod budowę kościoła, w 1905 r. założono fundamenty i wzniesiono ściany. Budowę prowadzono 3 lata. Koszt całkowity wyniósł 500 000 ówczesnych marek niemieckich. Złożyły się na to Huta Królewska, Freikunksgelderfond, dary księcia biskupa kard. Knoppa z Wrocławia, kopalnia „Król” i składki parafian, natomiast resztę pożyczono.
Kościół został poświęcony ku czci Bożej i swego patrona św. Józefa, Opiekuna i Orędownika Kościoła. Nową świątynię pobłogosławił ks. dziekan Wiktor Schmidt z Katowic dnia 18 listopada 1907 r. Wtedy też został instalowany jako kuratus parafii ks. Paweł Czaja, w 1911 r. mianowany jej pierwszym proboszczem. Od roku 1911 prowadzone były księgi metrykalne, a od 1912 kuracja przy kościele św. Józefa stała się parafią. Parafia kanonicznie erygowana dopiero 9 stycznia 1913 r. Uroczystej konsekracji kościoła dokonał 14 kwietnia 1915 r. ks. Adolf Bertram, biskup wrocławski.
Kościół zbudowany został w stylu neoromańskim z cegły miejscowej sprowadzonej z Rudy (cegła duża formatu klasztornego), natomiast wszystkie elementy dekoracyjne wykonano ze sztucznego kamienia zostały sprowadzone z Bawarii. Pierwotnie kościół posiadał polichromię malowaną przez malarza Platzka z Kluczborka. Mozaiki apostołów pochodzą z pracowni Franciszka Hofstaedtera z Monachium. Architekt Joseph Schmitz zaprojektował też całość dekoracji rzeźbiarskich elewacji kościoła, które wykonał rzeźbiarz Josef Kopf z Monachium. Ołtarze wykonane zostały w firmie Schneidera w Regensburgu. Dzwony pochodziły z odlewni Ottona z Hemelingen koło Bremy. W wyniku rabunkowych działań wojennych zostały zabrane dzwony: „Maria”, „Paweł” i „Edward”. Zostały tylko dwa: „Józef” i „Jan”. Dwa brakujące dzwony „Barbara” i „Florian” zostały dodane w 1979 r. W wieży mechanizm zegara „J. F. Wuelebockenem 1907”. Na chórze znajdują się czterdziestopięciogłosowe organy firmy Martin Binder & Sohn wybudowane w 1907 r. Witraże w oknach kościoła pochodzą w większości z pracowni Zettlera z Monachium. Zostały one w latach 90-tych odrestaurowane przez firmę Damiana Szyszki z Pszczyny.
W powojennej historii kościoła przeprowadzono w nim szereg remontów i prace restauratorskich, dzięki którym jego wnętrze piękniało:
- 1957 - remont kościoła wraz z klamrowaniem wykonany w ramach szkód górniczych przez kopalnię „Wyzwolenie”;
- 1960' - założono siatki pod sklepieniami z uwagi na duże szkody górnicze;
- 1969 - ponowny remont z tytułu szkód górniczych;
- 1971 - remont dachu z przekładką dachówek;
- 1995-1997 - gruntowny remont wnętrza kościoła (piaskowanie i malowanie ścian, likwidacja siatek, nowa instalacja elektryczna i nagłośnieniowa, nowe oświetlenie);
- 1998 - przeprowadzona została renowacja konfesjonałów, mebli organowych, stacji Drogi Krzyżowej, ławek, drzwi, kasetonów sufitowych (ukończone 26.01.1999 r.);
- 30.01.2001 - rozpoczęto remont kaplicy w krypcie kościoła i przystosowanie jej do odprawiania nabożeństw. Pierwsza Msza św. odprawiona została w niej 8 kwietnia 2001 r.;
- 09.03.2001 - rozpoczęcie prac związanych z przebudową prezbiterium (zlikwidowano balaski, a samo prezbiterium znacznie powiększono). Płyty posadzkowe z marmuru „morawicy”. Prace przeprowadziła firma „Grzechacz” z Ciasnej koło Olesna.
- 19.03.2002 - konsekracja nowego ołtarza posoborowego (wykonanego w Ciasnej koło Olesna z mugli tureckiej, podobnie jak nowa ambona).
- 06.05.2003 - nowo wybudowane prezbiterium wzbogaciły dwa nowe witraże - św. Pio z Pietrelciny i bł. Ludwika Mzyka - wykonane przez firmę „Art Vita” z Chorzowa. Wiosną 2003 r. kościół otrzymał także nowy wygląd kaplicy Matki Bożej Częstochowskiej. Zakład kamieniarski z Ciasnej wykonał nową chrzcielnicę, a metalowe wykończenia są dziełem zakładu ślusarskiego p. Kopycioka z Katowic. Kaplicę poświęcił 08.06.2003 r. ks. bp Stefan Cichy.
W dniu 01.06.2004 r. rozpoczął się remont dachu kościoła. Przez kolejne lata firma budowlana „Binioszek” z Chorzowa wymieniła elementy drewnianej konstrukcji oraz dachówki i rynny na kolejnych połaciach dachu. W kwietniu 2006 r. nad ołtarzem św. Barbary pojawiły się dwa nowe witraże z wizerunkiem św. Faustyny Kowalskiej i Sługi Bożego Jana Pawła II, autorstwa artysty plastyka Andrzeja Kuczoka. Wykonała je i zamontowała firma Damiana Szyszki z Pszczyny. 25.05.2009 r. kościół parafialny pod wezwaniem św. Józefa wpisany został do rejestru zabytków nieruchomych typu „A” Województwa Śląskiego.
W swojej ponad stuletniej historii (1912-2021) Parafia św. Józefa w Chorzowie miała tylko 4 proboszczów, co jest swoistym fenomenem. Parafia dała także na służbę Kościołowi Świętemu 29 kapłanów.
