Eine Hall of Fame-Karriere war John Randle nicht in die Wiege gelegt: Am College spielte er zuerst für das Trinity Valley Community College, bevor er an die Texas A&I-University wechselte. Zwar wurde er ins Allstar-Team der zweithöchsten College-Klasse gewählt, dennoch wollte ihn im Draft des Jahres 1990 kein Team verpflichten. Die Minnesota Vikings nahmen Randle schliesslich als Undrafted Free Agent unter Vertrag und er sollte ihnen die Chance mit sechs Pro Bowl-Saisons verdanken.

Als Rookie spielte John Randle in allen 16 Partien und eroberte sich schliesslich einen Start-Platz, den er aber wegen Verletzungen in den folgenden beiden Saisons wieder verlor. 1993 war Randle wieder fit und er sollte bis zu seinem Wechsel zu den Seattle Seahawks nach der Saison 2000 keinen einzigen Start mehr verpassen. In seiner Karriere bestritt John Randle total 183 Spiele, 140 davon als Starter.

In der Saison 1992 erzielte John Randle 11,5 Sacks und startete damit eine Serie von sieben Saisons in Folge mit jeweils mehr als zehn Sacks. 1994 erzielte er 13,5 Sacks und war damit der beste Quarterback-Jäger in der NFC, 1997 war er schliesslich mit 15,5 Sacks der beste der gesamten Liga. Besonders gerne spielte John Randle gegen den Vikings-Erzrivalen aus Green Bay. Und dies mit Erfolg: 1996 erzielte er in einer Partie gegen die Packers 3,5 Sacks und zwei Fumbles. Total erzielte Randle während seiner Karriere 137,5 Sacks, zum Zeitpunkt seines Rücktrittes die fünftbeste Marke der NFL-Geschichte und ein Rekord für Defensive Tackles.

John Randle war aber nicht nur auf dem Spielfeld ein gefürchteter Gegner, sondern auch daneben. Er gehörte zu den begnadetsten «Trashtalkern» und forderte seine Gegner immer wieder mit markigen Sprüchen heraus. Seine Mitteilungsfreude machte ihn zu einem beliebten Gesprächpartner für die Medien und zu einem Liebling der Fans in Minnesota. Allerdings überschritt Randle dabei nie die Grenze, gab seine Kontrahenten nie der Lächerlichkeit preis.

Nach der Saison 2000 wechselte John Randle zu den Seattle Seahawks, wo er 2001 noch einmal elf Sacks erzielte und seine siebte Berufung in die Pro Bowl erhielt. In seinen beiden letzten Saisons hatte Randle erneut mit Verletzungsproblemen zu kämpfen, nach der Saison 2003 musste er seine Karriere wegen einer Knieverletzung beenden. 2010 wurde er schliesslich in die Hall of Fame gewählt.