A pécsi születésű Garami egy idényt leszámítva játékos pályafutása során szülővárosában futballozott, majd visszavonulását követően is a PMFC-nél kezdett edzősködni, először a utánpótlásban, majd 1985 és 1992 között a felnőttcsapatnál. A szakember irányításával érte el a klub legjobb eredményét: az 1985/86-os idényben ezüstérmes lett az élvonalban, 1990-ben pedig elhódította a Magyar Kupát, összesen pedig 217 bajnoki mérkőzésen ült a csapat kispadján, mellyel a PMFC rekordedzőjének számít. Pécsi időszaka alatt, 1987 őszén a magyar labdarúgó-válogatott megbízott szövetségi kapitánya volt és öt találkozón irányította a nemzeti csapatot – a Skócia (0–2) és az NSZK (0–0) elleni felkészülési mérkőzésen, illetve a Lengyelország (2–3), Görögország (3–0) és Ciprus (1–0) elleni Európa-bajnoki selejtezőn.

1993 és 1996 között az Újpest vezetőedzője volt, majd két éven át az MTK-t irányította, mellyel az 1998/99-as idényben bajnoki címet ünnepelhetett. Ezt követően Győrben (1999-2001), majd a Ferencvárosnál (2002-2003) edzősködött, a fővárosi zöld-fehérekkel ismét bajnok lett a 2003/04-es szezonban. 2004-ben visszatért az MTK-hoz, ahol egészen 2015-ig volt vezetőedző, majd onnantól a kék-fehérek szakmai igazgatójaként tevékenykedett. Ahogy a PMFC megemlékezésében felidézi, Garami 2020-ban visszatért Pécsre, ahol mentorként és szakmai koordinátorként dolgozott.

Garami József ült a legtöbbször a kispadon a magyar NB I-ben, összesen 797 alkalommal.