Il apprend son métier au cours Simon à Paris à la même époque que Jacqueline Maillan, et obtient un premier prix de Comédie au Conservatoire national supérieur d'art dramatique en 1949. Pendant sa jeunesse, il pratique également le rugby pour lequel il gardera une grande passion.
Jean Vilar le recrute au Théâtre national populaire. Il donne la réplique à Gérard Philipe au théâtre des Champs-Élysées en 1952 (Le Prince de Hombourg d'Heinrich von Kleist).
Jean Le Poulain est en premier lieu un acteur et metteur en scène de théâtre, mais il fait également de nombreuses apparitions au cinéma et à la télévision. Il donne même sa voix dans le Petit Poucet de Bernard Blier en 1975.
Entré à la Comédie-Française en 1978, où il tint notamment le rôle de M. Jourdain dans Le Bourgeois gentilhomme, il en devient sociétaire à partir de 1979, puis administrateur général du 1er septembre 1986 jusqu'à sa mort
Il a marqué de son empreinte l'émission télévisée Au théâtre ce soir, avec notamment des pièces comme Le Noir te va si bien, De doux dingues, Le Minotaure, où il fut soit acteur, soit metteur en scène, ou les deux à la fois.