Holtzman a grandi dans la région de St. Louis et s'est illustré à l'Université de l'Illinois avant d'être sélectionné deux fois à titre de joueur tout étoile. Le gaucher a présenté une fiche de 174-150 et une moyenne de 3,49 de 1965 à 1979 avec les Cubs, les Athletics, les Orioles de Baltimore et les Yankees de New York.

Holtzman a gagné neuf matchs de plus que le grand Sandy Koufax des Dodgers de Los Angeles, qui affiché un dossier de 165-87 en 12 saisons.

Holtzman a joué ses sept premières années avec les Cubs, une période durant laquelle il a connu deux saisons consécutives de 17 victoires et lancé des matchs sans point ni coup sûr contre les Braves d'Atlanta au Wrigley Field, le 19 août 1969, et face aux Reds de Cincinnati, le 3 juin 1971.

Son match sans point ni coup sûr contre les Braves demeure le plus récent à avoir été complété sans le moindre retrait au bâton.

Holtzman a été échangé aux Athletics en retour de Rick Monday après la saison 1971 et a rejoint Vida Blue et Jim « Catfish » Hunter dans une rotation qui a aidé l'équipe de la Californie à remporter la Série mondiale lors de trois saisons consécutives à partir de 1972.

Il a été nommé au sein des équipes d'étoiles en 1972 et 1973, année lors de laquelle il a remporté 21 matchs, un sommet personnel en carrière.

Holtzman a été cédé aux Orioles de Baltimore en même temps que Reggie Jackson le 2 avril 1976, puis aux Yankees de New York au cours de la même saison.

Il a obtenu une autre bague de championnat avec les Yankees en 1977, bien qu'il n'ait pas participé aux séries éliminatoires. Il a été échangé aux Cubs au cours de la saison 1978.