Il étudie d'abord à Tallinn et Leningrad, notamment sous la conduite d'Evgeny Mravinsky. À ses débuts, il occupe des postes en Estonie, notamment la direction de l'Orchestre symphonique de la radio et de la télévision, l'Orchestre symphonique d'État et l'Opéra de Tallinn. En 1971, il obtient le premier prix au concours international des chefs d'orchestre de l'Académie Sainte-Cécile, à Rome. En 1980, il émigre aux États-Unis, tout en restant à la tête de l'Orchestre symphonique de Göteborg de 1982 à 2004. Il devient chef principal de l'Orchestre symphonique de Detroit de 1990 à 2005. Il est depuis 2005 chef principal de l'Orchestre de la Résidence de La Haye et directeur musical de l'Orchestre symphonique du New Jersey. Il est le père des chefs d'orchestre Paavo Järvi et Kristjan Järvi