An den athlethischen Fähigkeiten James Earl Johnsons – der allerdings von allen immer nur «Jimmy» gerufen wurde – bestanden nie Zweifel: An der UCLA war er nicht nur ein Star sowohl in der Offense als auch der Defense der Bruins, er war auch ein sehr talentierter 110 Meter-Hürdler sowie ein nicht minder begnadeter Dreispringer. Darüber hinaus war er der jüngere Bruder von Zehnkampf-Olympiasieger Rafer Johnson. Genügend Gründe für die San Francisco 49ers, Jimmy Johnson 1961 in der ersten Runde des Drafts zu verpflichten.

Trotz seines Talents – oder möglicherweise gerade deswegen – dauerte es eine Weile, bis Jimmy Johnson bei den 49ers seinen Platz im Team fand: Während seiner Rookie-Saison spielte er als Cornerback, bevor ihn die 49ers 1962 als Wide Receiver einsetzten. Auf beiden Positionen spielte der junge Spieler gut: Als Rookie fing er fünf Interceptions, als Wide Receiver im Jahr darauf 34 Pässe für 627 Yards und vier Touchdowns und war damit der zweitbeste Receiver seines Teams. Einen grossen Tag hat er dabei in einem Spiel gegen die Detroits Lions, wo er auf 181 Receiving-Yards kam.

Ein Jahr später spielte der sprunggewaltige Johnson eine Saison als Safety, bevor er dann 1964 als Left Cornerback jene Position fand, welche er bis zum Ende seiner Karriere 1976 innehaben sollte. Johnson spielte für die 49ers 16 Jahre und bestritt dabei 213 Spiele, so viele wie kein anderer 49ers-Spieler beim Zeitpunkt seines Rücktritts vor ihm.

Jimmy Johnson galt als einer der besten Man-to-man-Cornerbacks seiner Zeit. Seine Reputation als Shutdown-Corner führte dazu, dass die gegnerischen Quarterbacks nur im Notfall auf seine Spielfeld-Seite passten. Obwohl es ihm also an entsprechenden Gelegenheiten fehlte, fing er während seiner Karriere dennoch 47 gegnerische Pässe ab, die er für 615 Yards und zwei Touchdowns zurücktrug.

Während seiner Karriere wurde Johnson fünfmal in die Pro Bowl gewählt. In der Postseason hatte er allerdings nur wenig Gelegenheit seine Qualitäten zu beweisen: Nur gerade dreimal qualifizierten sich die 49ers während Johnsons Zeit an der Bay für die Playoffs. 1970 und 1971 erreichten sie zweimal das NFC Championship Game, mussten sich dort aber jeweils den Dallas Cowboys geschlagen geben.

Nach der Saison 1976 erklärte Jimmy Johnson seinen Rücktritt und wurde 1994 in die Hall of Fame aufgenommen.