Darius Milhaud est issu de l’une des plus vieilles familles juives de Provence, originaire du Comtat Venaissin. Cette région de Vaucluse abrite depuis des siècles de nombreuses familles juives surnommées les « Juifs du pape ».
Parmi les membres de cette famille, on compte Joseph Milhaud, fondateur en 1840 de la synagogue d’Aix-en-Provence, ainsi que José de Bérys, Francine Bloch, Marcel Dassault et Pierre Vidal-Naquet.