Après le Conservatoire, il débute sur scène en interprétant le répertoire classique, et devient petit à petit une des valeurs sûres du théâtre de l'Odéon.
Pagnol est alors à la recherche de son Panisse pour sa nouvelle pièce, Marius. Jouée en 1929, celle-ci connaîtra un succès immédiat.
En 1931, Pagnol décide d'adapter sa trilogie marseillaise au cinéma. Charpin compose donc le rôle de Panisse pour l'écran dans Marius (1931), Fanny (1932) et César (1936).
Il a encore tourné avec Pagnol Le gendre de monsieur Poirier (1933), Le Schpountz (1937), La Femme du boulanger (1938) et La Fille du puisatier (1940).