An der Wiege von John Maddens Coaching-Karriere stand mit Norm Van Brocklin ein Mann, welcher als Spieler herausragend war, als Coach aber kaum Erfolg erzielen konnte. Bei Madden ist es genau umgekehrt: Im Draft von 1958 von den Philadelphia Eagles verpflichtet, verletzte sich Madden im Trainingslager derart schwer, dass seine Karriere als Spieler vorüber war, bevor sie überhaupt begonnen hatte. Madden entschied sich aber, bei den Eagles zu bleiben, verbrachte viel Zeit mit Norm Van Brocklin und «saugte» dabei alles auf, was er für seine spätere Coaching-Karriere gebrauchen konnte.

John Madden übernahm 1959 das Team des Allen Hancock Junior College in Kalifornien und wechselte 1964 in den Trainerstab von Don Coryell an der San Diego State University. Coryell erinnert sich an den jungen Trainer wie folgt: «Manchmal ging es im Training hitzig zu und her, denn John hasste es, auch nur ein Yard zu verlieren. Er erlaubte es den Spielern nie, aufzugeben, erlaubte es ihnen nie, einmal während eines Spielzugs nicht ganz bei der Sache zu sein, weder im Training, noch wenn sein Team in Führung lag.»

1967 offerierte ihm Raiders-Manager Al Davis einen Job als Assistent Coach. Madden nahm an und zwei Jahre später löste er John Rauch als Head Coach der Oakland Raiders ab. Mit gerademal 32 Jahren ist er bis heute einer der jüngsten Head Coaches in der Geschichte der NFL.

Ein Jahrzehnt lang trainierte Madden das Team und in keinem seiner Jahre resultierte eine Saison mit mehr Niederlagen als Siegen. Madden führte die Raiders achtmal in die Playoffs und sechsmal ins AFC Championship Game. Dort ereilte die Raiders aber zumeist das Saison-Ende, nur einmal, 1976, gelang gegen die Pittsburgh Steelers ein Sieg. In der anschliessenden Super Bowl XI überrollten die Raiders die Minnesota Vikings mit 32:14 und sicherten so Madden den grössten Erfolg seiner Karriere.

Nach der Saison 1978 nahm John Madden, der mit 112 Siegen, 39 Niederlagen und 7 Unentschieden hinter dem legendären Vince Lombardi der zweiterfolgreichste Coach der NFL-Geschichte ist, in Oakland seinen Hut. Er heuerte als Kommentator bei CBS an, wo er 1981 mit Pat Summerall zu einem inzwischen legendär gewordenen Duo gepaart wurde. Nach Summeralls Rücktritt nach der Saison 2001 wechselte Madden zu ABC, wo er zusammen mit Al Michaels «Monday Night Football» kommentierte. Vor der Saison 2006 wechselte das Duo dann zu NBC und «Sunday Night Football». Madden, der unter grosser Flugangst leidet, tourt jeweils während der NFL-Saison mit einem riesigen Wohnwagen von einem Spiel zu nächsten. Nach der Saison 2008 trat er schliesslich auch als Kommentator zurück.