André Jolivet naît d'un père peintre amateur et comptable à la Compagnie générale des omnibus et d'une mère pianiste amateur.
En 1921, Jolivet entre à l'École normale d'instituteurs d'Auteuil, et s'oriente parallèlement vers la musique. De 1927 à 1932, Paul Le Flem lui fait travailler l'harmonie et le contrepoint.