Als Absolvent der kleinen Southern University in Louisiana stand Harold Carmichael nicht unbedingt im Fokus der NFL-Scouts. Aufgrund seiner athletischen Fähigkeiten – Carmichael war auch ein begnadeter Leichtathlet – entschieden sich die Philadelphia Eagles im Draft 1971 aber dennoch dafür, einen Siebtrunden-Pick in ihn zu investieren. Sie sollten es nicht bereuen, denn als Carmichael die Eagles nach 13 Saisons verliess, war er praktisch in allen wichtigen Receiving-Statistiken der Beste in der Teamgeschichte.

Zu Beginn seiner NFL-Karriere wussten die Eagles aber noch nicht ganz, wie sie den grossen und kräftigen Receiver einsetzen sollten. Als Rookie probierten sie Harold Carmichael deshalb als Tight End aus, erst im zweiten Jahr wurde er als regulärer Receiver eingesetzt. Seinen Durchbruch hatte er dann in der Saison 1973 als er im Offensive-System des neuen Head Coaches Mike McCormack aufblühte und mit 67 gefangenen Pässen für 1‘116 Yards der beste Passfänger der Liga war. Carmichael erhielt seine erste von total vier Pro Bowl-Berufungen.

Die Eagles hatten aber lange Zeit zu wenig Stabilität auf der Quarterback-Position. Erst als Ron Jaworski nach Philadelphia wechselte, startete das Team durch: Zwischen 1978 und 1981 standen die Eagles viermal in Folge die Playoffs und 1981 in der Super Bowl XV. Dort mussten sich Harold Carmichael und seine Teamkollegen allerdings den Oakland Raiders geschlagen geben.

Harold Carmichael bewies in 13 Saisons bei den Eagles grosse Konstanz: In sieben Saisons war er jeweils der beste Eagles-Receiver, hatte neun Saisons in Folge mit mindestens 40 oder mehr Passfängen, hatte drei Saisons mit mehr als 1‘000 Receiving-Yards, kam auf 20 Spiele mit mehr als 100 Receiving-Yards und stellt zwischen 1972 und 1980 einen neuen NFL-Rekord mit mindestens einem gefangenen Pass in 127 Spielen in Folge auf. Während seiner ganzen Karriere fing er 590 Pässe für 8‘985 Yards und 79 Touchdowns.

Nach der Saison 1983 wurde Harold Carmichael von den Philadlephia Eagles entlassen und erhielt wenig später einen Vertrag bei den Dallas Cowboys, wo er allerdings nur wenig zum Einsatz kam und noch während der Saison 1984 seinen Rücktritt erklärte.

Harold Carmichael wurde ins All-Decade-Team für die 1970er Jahre gewählt und 2020 schliesslich in die Hall of Fame aufgenommen.