Il commence sa carrière au cinéma, un peu par hasard, dans le rôle du « beau militaire », un rôle qui le poursuivra une bonne partie de sa carrière.
Jean Murat joue aussi des rôles antipathiques pendant la période du cinéma muet, Galerie des monstres de Jaque Catelain en 1924, Carmen de Jacques Feyder, en 1926. Le cinéma parlant lui permet de faire découvrir au public sa belle voix grave.
Archétype du séducteur sportif, du militaire et de l'homme d'honneur, il remporte un vif succès grâce à sa prestation dans le film La nuit est à nous de Roger Lion en 1929.
À partir des années 1940, Jean Murat se fait un peu âgé pour des rôles de jeune premier, et il interprète alors essentiellement des seconds rôles.
Ses films les plus marquants sont La Kermesse héroïque de Jacques Feyder, Si Versailles m'était conté... de Sacha Guitry (où il interprète Louvois), Les Grandes Familles de Denys de La Patellière et Les Misérables de Jean-Paul Le Chanois.