Als die NFL-Konkurrenzliga All-American Football Conference (AAFC) 1944 gegründet wurde, hatte sie die Absicht auch ein Team in Baltimore an den Start zu bringen. Doch es gelang der Liga nicht, mit den Besitzern des Memorial Stadiums zu einem Vertragsabschluss zu kommen. Als die Liga 1946 den Spielbetrieb aufnahm, ging deshalb anstelle Baltimores ein Team in Miami, die Miami Seahawks, an den Start. Doch das Experiment in Südflorida war ein Desaster: Die Seahawks häuften in wenigen Monaten einen Schuldenberg von fast 400'000 Dollar an und mussten Ende Saison Konkurs anmelden. Im zweiten Anlauf gelang es der AAFC dann schliesslich doch noch in Baltimore ein Team, die Baltimore Colts, zu platzieren.

Die Baltimore Colts wurden vom ehemaligen Packers-Quarterback Cecil Isbell trainiert und erlebten unter seiner Führung immerhin eine gute Saison: 1948 lag das Team mit den Buffalo Bills gleichauf an der Spitze der Eastern Division, so dass ein Playoff-Spiel für die Teilnahme am AAFC Championship Game anberaumt werden musste. Dieses entschieden dann aber die Bills für sich. Es war ein einsamer Höhepunkt: Im Jahr darauf konnten die Colts nur noch gerade eine Partie für sich entscheiden.

Dass die Baltimore Colts als schwache Mannschaft 1950 dennoch als eines von nur drei AAFC-Teams – die anderen beiden waren Meister Cleveland Browns und Vizemeister San Francisco 49ers – in die NFL übernommen wurden, hatte mit dem geschickten Lobbying ihres Besitzers Abraham Watner zu tun. Der Rest erledigte eine Zahlung von 150'000 Dollar an den sich mit Händen und Füssen gegen eine Zulassung der Colts wehrenden Redskins-Besitzer George P. Marshall.

Die Investition lohnte sich für Abraham Watner nicht wirklich: Die Colts konnten in ihrer einzigen NFL-Saison ebenfalls nur gerade ein Spiel gewinnen und aufgrund finanzieller Probleme gab Watner nach Abschluss der Saison seine Lizenz an die NFL zurück. Doch zu diesem Zeitpunkt hatten sich die Colts bereits im Gedächtnis der Bevölkerung von Baltimore festgesetzt. Und als die NFL drei Jahre später mit einer neuen Franchise einen weiteren Versuch in Baltimore wagte, war völlig klar, dass das neue Team den Namen des alten übernehmen würde.

Jahr	Resultat	Klassierung	Erfolg	Coach
1947	2-11-1	4. AAFC-East		Cecil Isbell
1948	7-7	2. AAFC-East	Divisional-Playoffs	Cecil Isbell
1949	1-11	7. AAFC		Walter Driskill
1950	1-11	7. National		Clem Crow

Anmerkung: Der Helm gibt die Teamfarben wieder und wurde in dieser Form so nie getragen.