Joe Perry erregte erstmals Aufsehen, als er am Compton Junior College in einer Saison 22 Touchdowns erzielte. Doch bevor der Running Back an ein renommiertes College wechseln konnte, wurde Perry zum Militärdienst einberufen. Stationiert wurde er in Alameda, dem grossen Navy-Stützpunkt bei Oakland, und spielte dort für das Team der California Naval Training Station. Bei einer Partie zwischen zwei Militärteams wurde er dabei von einem Spieler der San Francisco 49ers aus der neugegründeten All-American Football Conference (AAFC) entdeckt. Dieser machte sein Team-Management auf den Militärspieler aufmerksam. Wenig später hatte Joe Perry einen Profi-Vertrag in der Tasche und stiess vor der Saison 1948 zu den 49ers.

Hatte Joe Perry am Junior College und im Militärteam vor allem durch seine kraftvollen Läufe durch die Mitte geglänzt, so stellte der Fullback seinen Laufspiel in der AAFC um: Zwar scheute er auch jetzt den Lauf durch die Mitte nicht, bewies aber seine Gefährlichkeit vor allem bei Läufen über die Aussenbahnen. Seine enorme Antrittsstärke gepaart mit einer grossen Schnelligkeit trug ihm schnell den Übernamen «The Jet» ein. In der Saison 1949 war Joe Perry der beste Running Back der Liga und wurde ins Allstar-Team gewählt. Im AAFC Championship Game musste er sich mit seinen Teamkollegen allerdings den Cleveland Browns geschlagen geben.

Nach der Auflösung der AAFC stiessen die San Francisco 49ers zur NFL und manch ein Beobachter war der Meinung, dass Perry für einen Fullback eher zu klein sei und es daher in der neuen Liga schwer haben würde. Doch Perry strafte diese Kritiker Lügen: Er wurde der erste Spieler in der NFL-Geschichte, der in zwei aufeinanderfolgenden Saisons die 1'000 Yards-Marke übertraf: 1953 lief er für 1'018 Yards, 1954 für 1'049 Yards. Mit 7'344 Yards ist er zudem bis heute der Rushing-Rekordhalter der San Francisco 49ers.

«The Jet» spielte 13 Saisons mit den 49ers, bevor er zu den Baltimore Colts transferiert wurde. Nach zwei Saisons an der Ostküste kehrte er nochmals für ein Jahr nach San Francisco zurück. In 14 Jahren kam Perry auf 9'723 Rushing-Yards und realisierte dabei einen durchschnittlichen Raumgewinn von 4,9 Yards pro Laufversuch. Er wurde zweimal ins Allstar-Team gewählt und in drei Pro Bowls berufen. Bereits 1969 erfolgte seine Wahl in die Hall of Fame.