En 1948, il achète le restaurant Le Grand Véfour, dans le 1er arrondissement de Paris, à Louis Vaudable, qui reste cependant associé à l'affaire.
Le restaurant devient une véritable institution et a longtemps eu 3 étoiles au Guide Michelin.
Raymond Oliver est devenu célèbre pour avoir créé en 1954 la première émission de télévision consacrée à la cuisine, Art et magie de la cuisine, qu'il a animée pendant 13 ans avec Catherine Langeais.