Compositeur moderniste français influencé par le jazz, qui s'est fait connaître en tant que membre du groupe Les Six. Ses compositions font appel à la polytonalité.
Il s'est formé au violon durant sa jeunesse, mais s'est ensuite focalisé sur la composition et a étudié au Conservatoire de Paris.
Il a également enseigné la musique au Mills College à Oakland en Californie.
Il a épousé Madeleine Milhaud en 1925, et ils ont eu un fils né en 1930.
Un de ses élèves était le compositeur Burt Bacharach.