V roku 1998 bol však jedným z aktérov dopingovej aféry počas Tour de France, keď celý tím Festina bol vylúčený z pretekov kvôli používaniu zakázaných látok.
Po tejto afére sa Hervého kariéra dostala do ťažkostí, a v roku 2001 neprešiel dopingovou kontrolou na Giro d'Italia, čo viedlo k jeho odchodu z profesionálneho športu.
Ako jeden z mála zainteresovaných o svojom dopingovom prehrešku otvorene hovoril a na súde sa aj priznal.
Čítajte viac O obhajobu titulu zabojuje Pogačar. Prestížne preteky odštartujú na netradičnom mieste
V septembri 2024 Hervé oznámil, že podstúpil operáciu žalúdka kvôli nádoru. Jeho odchod na večný odpočinok je tak pravdepodobne spojený so zdravotným stavom.
Príčina jeho smrti však nebola zatiaľ oficiálne potvrdená. V správe sa však uvádza, že k úmrtiu došlo v kanadskom meste Quebec, kam sa bývalý profi cyklista po skončení kariéry presťahoval.
V Kanade sa venoval oblasti gastronómie a tiež výchove mladých nádejných cyklistov.
