Il a percé dans le rôle du mafieux Michael Corleone dans la trilogie du Parrain et a remporté l'Oscar du meilleur acteur pour son rôle de Frank Slade dans le film Scent of a Woman (1992). Il est également connu pour ses rôles principaux dans Dog Day Afternoon, Heat, Scarface et Serpico.
Il a développé une passion pour le théâtre dès son plus jeune âge et a participé à la majorité des productions de son école. À l'adolescence, il est surnommé Sunny et avait la réputation d'être un fauteur de troubles à l'école.
Il a remporté des Tony Awards pour ses rôles dans les pièces Does a Tiger Wear a Necktie? en 1969 et The Basic Training of Pavlo Hummel en 1977.
Ses parents s'appellent Kate et James Gelardi. Il a eu une relation intermittente avec sa co-star Diane Keaton pendant le tournage de la trilogie du Parrain. Il a deux filles, Julie et Olivia, et un fils, Anton.
Il partage l'affiche avec le grand Robert De Niro dans les films Le Parrain, Deuxième Partie et Heat.