Elroy Leon Hirsch, so sein voller Name, studierte an den Universitäten von Wisconsin und Michigan und wurde als Halfback zum All-American gewählt. Dennoch liess der Erfolg im Profi-Football lange auf sich warten: Hirsch entschied sich nämlich 1946 für einen Vertrag bei den Chicago Rockets in der All American Football Conference (AAFC) – ein Fehler, wie er später selber zugab. Erst nach drei verlorenen Jahren gelang ihm 1949 den Sprung in die NFL, er unterschrieb einen Vertrag bei den Los Angeles Rams.

Das erste Jahr verbrachte Hirsch vor allem auf der Bank und wurde anschliessend zum Receiving-End umgeschult. Die Umstellung gelang ihm nur dank harter Arbeit, Arbeit die sich später aber auszahlen sollte. Er wurde mit der Zeit zu einer der Lieblings-Anspielstationen von Rams-Quarterback Bob Waterfield und war so Hauptbestandteil, einer Offense, welche die Rams 1951 zum NFL-Titel tragen sollte.

Elroy Hirsch war in dieser «Three End»-Offense dabei der Spezialist für Bigplays: Dank seiner Running Back-Qualitäten – deshalb auch der Spitzname «Crazylegs» – war es ihm möglich, auch aus kurzen Pässen grossen Raumgewinn zu machen. So etwa in einem vorentscheidenden Spiel gegen die Chicago Bears: Von der gegnerischen Defense kurz vor der eigenen Endzone festgenagelt, fand ihn Waterfield für einen 91 Yards-Touchdown. 10 seiner 17 Touchdowns in der Saison 1951 waren solche «Bomben», mit 1'495 Yards stellte er einen neuen Season-Receiving-Rekord auf

Elroy Hirsch, der bei seinem Rücktritt beinahe alle Rams-Receiving-Rekorde hielt, war derart populär, dass noch während seiner Aktivzeit 1953 ein autobiographischer Film «Crazy Legs, All American» über sein Leben gedreht wurde. 1955 und 1957 spielte er in zwei weiteren Filmen mit, doch nach seinem Rücktritt 1957 setzte er seine Filmkarriere nicht fort. 1968 wurde er in die Hall of Fame aufgenommen und 1969 ins «50 Jahre NFL All-Time Team» gewählt. Während seiner Karriere fing Hirsch 387 Pässe für 7'092 Yards und 60 Touchdowns.

Nach dem Ende seiner Karriere kehrte er als Trainer an seine Alma mater in Madison, Wisconsin zurück. 1969 wurde er zum Athletic Director berufen, eine Funktion, welche er bis 1987 bekleidete und in der er vier College-Meisterschaften im Eishockey feiern konnte.