Joe Schmidt gehört zu den meistdekorierten Verteidigern der NFL-Geschichte. Dennoch stand seine NFL-Karriere am Anfang nicht unter einem besonders guten Stern: Während seiner College-Zeit musste sich der Linebacker immer wieder mit diversen Verletzungen herumschlagen und so bestanden bei den meisten NFL-Scouts Zweifel, ob Schmidt den Sprung in die Profi-Liga schaffen würde. Beim Draft 1953 dauerte es denn auch bis zur siebten Runde bis ihn die Detroit Lions verpflichteten.

In Detroit konnte Joe Schmidt dann aber alle Zweifel innert kürzester Zeit widerlegen: Bereits nach seinem ersten Start als Rookie war er nicht mehr aus der traditionell starken Defense der Lions wegzudenken, seine Teamkollegen wählten ihn bereits wenig später zum Teamcaptain der Defense. Zwischen 1955 und 1964 wurde Schmidt zehnmal in Folge ins Allstar-Team gewählt und wurde selbstredend in der gleichen Zeitspanne zehnmal in Folge in die Pro Bowl berufen. 1960 wurde Schmidt gemeinsam mit Eagles-Quarterback Norm Van Brocklin zum Co-MVP der NFL gewählt. Dieser ehrte seinen Kollegen dabei mit den Worten: «Wenn ich heute ein NFL-Team gründen müsste und die freie Wahl eines Spielers hätte, mit dem ich das Team starten darf, ich würde Joe Schmidt wählen.»

Joe Schmidt gehörte zu den ersten Spielern, die in den 1950er Jahren auf der neuen Middle Linebacker-Position spielte. Ein Football-Historiker formulierte Schmidts Bedeutung in der Entwicklung der neuen Verteidigungsstrategien in jenen Jahren einmal so: «(Bears-Linebacker) Bill George erfand die Position, doch keiner spielte sie mit so viel Gefühl und so viel Finesse wie Joe Schmidt. Er machte die Position zu dem, was sie heute ist.» Schmidt war sowohl in der Lauf- wie der Passverteidigung hervorragend, seine herausragenden Spielinstinkte erlaubten es ihm zudem, der angreifenden Mannschaft immer einen Schritt voraus zu sein. 1953 und 1957 konnte Schmidt mit seinem Team zwei NFL-Meisterschaften feiern.

Nach der Saison 1965 trat Joe Schmidt zurück, kehrte aber bereits ein Jahr später als Head Coach zu den Detroit Lions zurück. Schmidt coachte die Lions während fünf Saisons mit einigem Erfolg, 1970 gelang den Detroit Lions der Vorstoss bis ins Divisional-Playoff. Nach der Saison 1971 trat Schmidt zurück, zwei Jahre später wurde er in die Hall of Fame gewählt.