Poète prolifique et dramaturge occasionnel, il fut lié à Victor Hugo ainsi qu'aux poètes du Parnasse et aux poètes symbolistes.
Rimbaud lui offrit le manuscrit de son sonnet des Voyelles qui est aujourd'hui au Musée Rimbaud.
Il fonda en avril 1872 La Renaissance littéraire et artistique, dans laquelle il publia notamment Voyelles et la première traduction en français des Leaves of Grass de Walt Whitman.