Agrégé de philosophie, il s'engage dans la Résistance puis travaille comme fonctionnaire au sein de plusieurs cabinets ministériels après la Libération. Il est secrétaire d'État pendant quelques mois, entre 1955 et 1956, sous la IVe République.
Jean Lecanuet présente sa candidature à la première élection présidentielle française convoquée au suffrage universel, en 1965 : charismatique, il mène une campagne axée sur la télévision et termine en troisième position à l'issue du premier tour, obtenant 15,6 % des suffrages exprimés, ce qui contribue à la mise en ballottage du général de Gaulle, auquel il oppose une vision fédéraliste européenne.
En 1968, il devient maire de Rouen, étant ensuite constamment réélu jusqu’à sa mort. Souhaitant faire de sa ville natale la « capitale du Grand-Ouest », il procède à d’importants réaménagements urbains et dote la cité normande d'un nouveau réseau de tramway.