[[Los Angeles]], [[California]]'da dünyaya gelen Olmos, Elenaor (kızlık soyadı Huizar) ve Pedro Olmos'un oğluydu. Babası Pedro bir kaynakçıydı. Babası bir Meksika göçmeni ve annesi Meksika asıllı Amerikalıydı. Büyüdüğünde profesyonel bir beyzbol oyuncusu olmak istiyordu. 1964 yılında Montebello Lisesi'nden mezun oldu. East Los Angeles College ve California State University, Los Angeles'ta derslere katıldı.
1984 ve 1989 yılları arasında ''[[Miami Vice]]'' adlı televizyon80'lerin dizisindeefsanevi ve kült haline gelen,sinematografiyi dizi sektörüne taşıyan ekolleşmiş dizide Teğmen Martin ''Marty'' Castillo adlı otoriter ve soğukkanlı-ciddi bir ekip amiri karakterini oynayan Olmos, bu karakterle gönüllerde taht kurmuş ve özdeşleşmiştir. ''Star Trek: The Next Generation'' dizisndedizisinde Atılgan'ın kaptanını oynamayı reddetti. Yaşanmış bir öyküden uyarlanan ''Stand and Deliver'' filmindeki matematik öğretmeni Jaime Escalante rolüyle En İyi Aktör dalında [[Akademi Ödülü]] adaylığı kazandı. 1992 yılında ''American Me'' filmini yönetti. Dexter"da Professor Gellar" oynuyor.Miami Vice'ın beğenilmeyen 2006 verisyon yeniden çekim filminde tekrar Teğmen Martin ''Marty'' Castillo rolünü Michael Mann kendisine teklif etmiş fakat kendisi orjinal cast'a ihanet etmemek amacıyla bu rolü geri çevirmiştir.Son zamanlardaki söylentilere göre de tekrar kendisinin bulunduğu cast ile devam niteliğindeki çekilecek olan Miami Vice'da ise aynı rolü üsteleneceği bildirilmektedir.
