Jimmy Conzelman war ein Mann mit ganz verschiedenen Interessen. So verdiente er sich seinen Lebensunterhalt als professioneller Baseball-Spieler, als Manager eines Baseball-Teams, als Zeitungsherausgeber, Drehbuchautor und als Schauspieler. In keiner Profession war er aber so erfolgreich wie als Football-Coach.

Nach dem er als Halfback für die kleine Washington University in St. Louis gespielt hatte, wurde er 1920 von George Halas als Spieler für die Decatur Staleys engagiert. Ein Jahr später wechselte er aber zu den Rock Island Independets, wo er seine Karriere als Spielertrainer begann. Während der Saison 1922 wechselte er in die gleiche Funktion zu den Milwaukee Badgers.

Vor der Saisons 1925 kaufte er von der NFL für 100 Dollar die Rechte für ein Team in Detroit. Die Detroit Panthers spielten anfänglich mit einigem Erfolg: In ihrer ersten Saison 1925 gingen sie in acht von zwölf Partien ohne Gegenpunkte vom Platz und beendeten die Saison hinter den Chicago Cardinals und den Pottsville Maroons auf dem dritten Platz. Trotz dieses Erfolges zogen die Panthers in der baseballverrückten Stadt nur wenig Interesse auf sich und nach einer weiteren Saison gab Conzelman das Abenteuer als Teambesitzer auf.

Als Spielertrainer wechselte er zu den Providence Steam Roller und unter ihm als Head Coach stellte sich auch umgehend der Erfolg in Rhode Island ein: Bereits in seiner zweiten Saison führte Conzelman das Team zum NFL-Meistertitel. Ausschliesslich als Head Coach im übrigen, als Spieler konnte er aufgrund einer Knieverletzung nicht mittun. Während Conzelmans Zeit in Providence fand dort 1929 auch das erste NFL-Spiel unter Flutlicht statt.

Nach der Saison 1930 verabschiedete sich Conzelman aus der NFL, um sich seinen übrigen Interessen zu widmen. 1940 verpflichteten ihn die Chicago Cardinals als Head Coach, 1942 verliess er das Team wieder, um als Manager für das MLB-Team St. Louis Browns zu arbeiten. 1946 kehrte er aber nochmals zu den Cardinals zurück. Mit den Fullbacks Pat Harder und Marshall Goldberg sowie den Halfbacks Elmer Angsman und Charley Trippi verfügte er über wohl eines der besten Backfields in der NFL-Geschichte. 1947 besiegten die Cardinals im NFL Championship Game die Philadelphia Eagels, womit Conzelman zwei Jahrzehnte nach seiner ersten NFL-Meisterschaft einen zweiten Titel feiern konnte. Im Jahr darauf scheiterte die Titelverteidigung im Endspiel gegen die Eagles knapp und Conzelman erklärte wenig später seinen Rücktritt.