Réalisateur underground, il est célèbre pour avoir écrit et réalisé les films "Hugo Pool", "Putney Swope" et "Greaser's Palace". Il est également le père de l'acteur Robert Downey Jr.
Il a réalisé son premier court-métrage, "Balls Bluff", en 1961.
En 2005, il a sorti un documentaire à propos de la vie dans les rues de Philadelphie, "Rittenhouse Square".
Il a épousé Rosemary Rogers, sa troisième femme, en 1998. Il a eu deux enfants, Robert Jr. et Allyson, avec sa première femme, Elsie Downey.
Tom Aldredge a joué dans son film en 1973, "Sticks and Bones".
