Ses premiers essais littéraires remontent à ses années de collège, mais il publie son premier recueil de poèmes en 1868, Les Joies de collège.
Lors de la guerre franco-prussienne de 1870, alors qu'il participe en qualité d'ambulancier, il rédige L'Alsacien (réédité en 1914). En 1871, il publie Mots d'amour sous le pseudonyme d'Hector L'Estraz. Début 1874, il publie Les Voix perdues.
En 1878, admis dans l'intimité de la famille Hugo, il publie Victor Hugo chez lui et en reçoit les félicitations du grand poète. Dans le cercle des amis intimes de Victor Hugo sont commentés les évènements politiques ou les pièces de théâtre qu'ils ont vues. Rivet y fréquente Flaubert, Lockroy, Valade, Calman-Lévy.
Photo 1 : J. Weismann — Bibliothèque municipale Grenoble Domaine public File:Gustave Rivet.jpg Création : 1 janvier 1913 - Photo 2 : Ancienne carte postale - Photo 3 : J. Weismann — Bibliothèque municipale Grenoble Domaine public File:Gustave Rivet.jpg Création : 1 janvier 1913 - Photo 2 ancienne carte postale - Photo 3 : Patafisik - Own work CC BY-SA 4.0 File:Cemetery of Domène 2 Gustave Rivet.jpg Created: 28 March 2016