Obwohl Merlin Olsen die Utah State University, eine in Sachen College-Football eher unbedeutende Universität besuchte, zog er dank seinen Leistungen schnell das Interesse der NFL-Scouts auf sich. Olsen wurde zum All-American gewählt und gewann die Outland-Trophy als bester College-Linemen. Sowohl die Los Angeles Rams aus der NFL als auch die Denver Broncos aus der AFL sicherten sich in der ersten Runde des jeweiligen Liga-Drafts die Rechte am kraftvollen Defensive Tackle. Nach langem Werben entschied sich Olsen am Ende für die Los Angeles Rams.

Bereits in der dritten Woche seiner Rookie-Saison lief Olsen als Starting Left Defensive Tackle auf und sollte diese Position bis zum Ende seiner Karriere nicht mehr abgeben. Er spielte bis 1976 in 208 NFL-Spielen, die letzten 198 davon in Folge. Bereits am Ende seiner Rookie-Saison wurde Olsen in die Pro Bowl gewählt. Es war der Anfang von 14 Pro Bowl-Berufungen in Folge, einzig in seiner letzten Saison schaffte er den Sprung ins Allstar-Game nicht mehr.

Als grosser, kräftiger und dennoch sehr agiler Spieler war er der Dreh- und Angelpunkt der berühmten Defensive Line der Rams Ende der 1960er Jahre, der «Fearsome Foursome», welche neben Olsen aus Deacon Jones – auch er ein Mitglied der Hall of Fame –, Roosevelt Grier und Lamar Lundy bestand. Olsen war aber eindeutig der wichtigste dieser vier Spieler, stabilisierte er doch die Line in der Mitte und spielte vor allem gegen den Lauf und den Screen-Pass. Und weil er nahezu fehlerlos spielte, ermöglichte er es seinen Kollegen, sich ganz auf die Jagd nach dem gegnerischen Quarterback zu konzentrieren.

Neben Pro Bowl-Teilnahmen sammelte Olsen während seiner Karriere weitere Auszeichnungen: Sechsmal in Folge wurde er zum wertvollsten Rams-Spieler gewählt, 1970 ins Alltime-Team des Clubs berufen. Einzig mit dem Super Bowl-Sieg wollte es nicht klappen: 1974, 1975 und 1976 war für die Rams jeweils im NFC Championship Game Endstation.

Nach der Saison 1976 trat Olsen zurück und wurde bereits sechs Jahre später in die Hall of Fame gewählt. Nach dem Ende seiner NFL-Karriere widmete er sich seiner Film- und Fernsehkarriere. Seine wohl bekanntesten Rollen waren die des Jonathan Garvey in der bekannten Fernsehserie «Unsere kleine Farm» sowie als Father Murphy in der gleichnamigen Serie. Gleichzeitig bildete er beim Fernsehsender NBC während vieler Jahre mit Dick Enberg ein bekanntes Reporterduo, welches zahlreiche Super Bowls kommentierte.