Zubin Mehta naît dans une famille aristocratique pârsî. Son père Mehli Mehta, violiniste, fonde et dirige l'Orchestre symphonique de Bombay. Zubin se destine tout d'abord à la médecine, mais après deux semestres dans cette voie, il change d'orientation et étudie la musique à Vienne, à la Vienna Academy, sous la direction d'Hans Swarowsky et, en 1958, fait, dans cette même ville, ses débuts de chef d'orchestre. La même année, il remporte le concours international de direction d'orchestre (International Conducting Competition) à Liverpool, ce qui entraîne sa nomination en tant que chef d'orchestre adjoint de l'Orchestre philharmonique royal de Liverpool.
Mehta devient bientôt chef titulaire lorsqu'il est nommé directeur musical de l'Orchestre symphonique de Montréal en 1960, un poste qu'il conservera jusqu'en 1967. Il occupe ensuite le même poste à l'Orchestre philharmonique de Los Angeles de 1962 à 1978, puis à l'Orchestre philharmonique de New York de 1978 à 1991, devenant le chef occupant ce poste le plus longtemps de toute l'histoire de l'orchestre. C'est sous sa direction que fut interprété en 1978 par Vladimir Horowitz le troisième concerto pour piano et orchestre (op. 30) de Sergueï Rachmaninov. Il dirige aussi l'Orchestre philharmonique d'Israël depuis 1968 d'abord comme conseiller musical puis devient son directeur artistique à vie en 1981. De 1998 à 2006, il est également directeur artistique de l'Opéra d'État de Bavière à Munich.
En juin 1994, l'Orchestre symphonique et et le chœur de Sarajevo interprète le Requiem de Mozart sous la direction de Zubin Mehta dans les ruines de la Bibliothèque nationale de Sarajevo, les fonds recueillis à cette occasion allant aux victimes du conflit yougoslave. Le 29 août 1999, il dirige la Deuxième Symphonie « Résurrection » de Mahler, près du camp de concentration de Buchenwald dans la ville allemande de Weimar, l'Orchestre de l'Opéra de Bavière et l'Orchestre philharmonique d'Israël, jouant côte à côte. Il fait une tournée dans son pays et sa ville d'origine, l'Inde et Mumbai, en 1984, avec l'Orchestre philharmonique de New York, puis en novembre-décembre 1994, avec l'Orchestre philharmonique d'Israël, avec les solistes Itzhak Perlman et Gil Shaham.
Le 1er janvier 1990, 1995, 1998 et 2007, il a eu l'honneur de diriger l'Orchestre philharmonique de Vienne lors du traditionnel Concert de Nouvel An.