RLHF : aligner un LLM sur les préférences humaines

Les modèles de langage impressionnent par leur capacité à générer du texte fluide et cohérent, mais cette maîtrise linguistique ne garantit pas des réponses utiles, sûres ou alignées avec les attentes des utilisateurs. Un LLM pré-entraîné sur des téraoctets de textes web peut produire des contenus toxiques, des informations erronées présentées avec assurance, ou des réponses qui ignorent complètement l'intention derrière une question. Le RLHF (Reinforcement Learning from Human Feedback) est la technique qui a permis de transformer ces modèles bruts en assistants véritablement utiles.

L'idée fondamentale du RLHF est élégante : plutôt que de définir manuellement ce qu'est une "bonne" réponse (tâche quasi impossible à formaliser), on laisse des humains exprimer leurs préférences entre plusieurs réponses possibles, puis on entraîne le modèle à produire des sorties qui maximisent ces préférences. Cette approche a été popularisée par OpenAI avec InstructGPT en 2022, puis perfectionnée pour ChatGPT et ses successeurs. Elle explique en grande partie pourquoi les assistants IA actuels sont devenus si naturels à utiliser.

Le RLHF n'est cependant pas une technique monolithique. Elle recouvre un pipeline complexe qui va de la collecte des préférences humaines jusqu'à l'optimisation du modèle, avec plusieurs variantes méthodologiques qui ont émergé ces dernières années. Comprendre ces mécanismes est essentiel pour quiconque souhaite fine-tuner des modèles de langage ou simplement saisir ce qui distingue un LLM brut d'un assistant aligné.

Dans cet article, nous allons explorer le fonctionnement du RLHF étape par étape, comprendre comment les préférences humaines sont collectées et transformées en signal d'entraînement, puis analyser les différentes approches pour aligner effectivement un LLM sur ces préférences.

Collecter les préférences humaines

La première étape du RLHF consiste à capturer ce que les humains considèrent comme des réponses de qualité. Cette collecte de données est cruciale car elle définit ce vers quoi le modèle sera optimisé. Une collecte biaisée ou de mauvaise qualité produira un modèle mal aligné, quelle que soit la sophistication de l'algorithme d'entraînement utilisé ensuite.

Le protocole standard de collecte fonctionne par comparaisons pairées. Pour un prompt donné, on génère plusieurs réponses candidates (généralement avec le modèle lui-même ou une version antérieure), puis on demande à des annotateurs humains de classer ces réponses par ordre de préférence. Cette approche comparative est plus fiable que de demander une note absolue : il est plus facile de dire "cette réponse est meilleure que celle-là" que d'attribuer un score de 7.3/10 à une réponse isolée.

Le processus typique se déroule ainsi :

• On sélectionne un ensemble de prompts représentatifs des cas d'usage visés
• Pour chaque prompt, on génère 2 à 4 réponses candidates avec le modèle
• Des annotateurs humains comparent les réponses et indiquent leurs préférences
• On collecte suffisamment de comparaisons pour entraîner un modèle de récompense (typiquement des dizaines à des centaines de milliers)

La qualité des annotations dépend fortement des guidelines fournies aux annotateurs. Ces instructions définissent ce qui constitue une "bonne" réponse : doit-elle être concise ou détaillée ? Faut-il privilégier la précision factuelle ou l'utilité pratique ? Comment gérer les questions ambiguës ou potentiellement dangereuses ? Ces choix éditoriaux façonnent directement le comportement final du modèle.

Critère d'évaluation	Impact sur le modèle aligné
Utilité	Répond effectivement à la demande
Honnêteté	Reconnaît ses limites et incertitudes
Innocuité	Évite les contenus dangereux ou nuisibles
Précision	Fournit des informations correctes
Clarté	S'exprime de manière compréhensible

Les défis de cette collecte sont nombreux. Le désaccord entre annotateurs est fréquent, particulièrement sur des sujets subjectifs ou controversés. Les biais des annotateurs (culturels, linguistiques, idéologiques) se retrouvent encodés dans les données. Le coût de l'annotation humaine à grande échelle reste considérable, ce qui a motivé des recherches sur l'utilisation de LLM comme substituts ou compléments aux annotateurs humains (approche parfois appelée RLAIF, Reinforcement Learning from AI Feedback).

Du feedback au signal d'entraînement : le modèle de récompense

Les préférences humaines collectées ne peuvent pas être utilisées directement pour entraîner le LLM. Il faut d'abord les transformer en un modèle de récompense (reward model) capable d'évaluer n'importe quelle réponse et d'attribuer un score reflétant sa qualité probable aux yeux des humains.

Le modèle de récompense est généralement un LLM lui-même (souvent une version du modèle à aligner) dont la dernière couche est modifiée pour produire un score scalaire plutôt qu'une distribution de probabilités sur les tokens. On l'entraîne sur les données de comparaison avec un objectif simple : pour chaque paire de réponses où les humains ont préféré la réponse A à la réponse B, le modèle doit attribuer un score plus élevé à A qu'à B.

L'entraînement utilise typiquement une perte de type Bradley-Terry qui modélise la probabilité qu'une réponse soit préférée à une autre en fonction de la différence de leurs scores. Cette formulation permet d'apprendre à partir de comparaisons relatives sans nécessiter de scores absolus, ce qui correspond bien à la nature des données collectées.

Une fois entraîné, le modèle de récompense peut évaluer n'importe quelle paire (prompt, réponse) et produire un score. Ce score devient le signal qui guidera l'optimisation du LLM. Plus le score est élevé, plus la réponse est supposée correspondre aux préférences humaines. Le modèle de récompense agit comme un proxy des jugements humains, permettant d'évaluer des millions de réponses sans intervention humaine supplémentaire.

Cette approche introduit cependant un risque important : le reward hacking. Le LLM optimisé peut apprendre à exploiter les failles du modèle de récompense plutôt qu'à produire des réponses véritablement bonnes. Par exemple, si le modèle de récompense attribue inconsciemment des scores plus élevés aux réponses longues, le LLM peut apprendre à générer des réponses excessivement verbeuses. Gérer ce phénomène est l'un des défis majeurs de l'optimisation qui suit.

À découvrir : notre formation LLM Engineering

Aligner le LLM : les différentes approches d'optimisation

Une fois le modèle de récompense disponible, l'étape finale consiste à modifier le LLM pour qu'il génère des réponses qui maximisent les scores de récompense. Plusieurs approches ont été développées, chacune avec ses avantages et ses compromis.

L'approche classique : PPO

L'algorithme PPO (Proximal Policy Optimization) est l'approche historique utilisée pour InstructGPT et les premières versions de ChatGPT. Le LLM est considéré comme une "politique" qui, étant donné un prompt, génère une séquence d'actions (les tokens). L'objectif est d'ajuster cette politique pour maximiser la récompense attendue.

Le processus d'entraînement PPO fonctionne de manière itérative. À chaque étape, on échantillonne des prompts, on génère des réponses avec le modèle courant, on évalue ces réponses avec le modèle de récompense, puis on met à jour les poids du LLM pour favoriser les réponses bien notées. Un élément crucial est la contrainte de proximité : on pénalise les modifications trop importantes par rapport au modèle initial (via une divergence KL) pour éviter que le modèle ne diverge excessivement et ne perde ses capacités générales.

Cette approche est puissante mais complexe à mettre en œuvre. Elle nécessite de maintenir plusieurs modèles en mémoire simultanément (le modèle en cours d'optimisation, le modèle de référence, le modèle de récompense), ce qui impose des contraintes matérielles significatives. L'instabilité de l'entraînement et la sensibilité aux hyperparamètres ajoutent à la difficulté.

L'alternative directe : DPO

Le DPO (Direct Preference Optimization) a émergé comme une alternative élégante qui élimine le besoin d'un modèle de récompense explicite. L'insight fondamental est que l'optimisation de la récompense sous contrainte KL peut être reformulée comme un problème de classification sur les données de préférence directement.

Concrètement, DPO entraîne le LLM à augmenter la probabilité des réponses préférées et à diminuer celle des réponses rejetées, tout en maintenant une régularisation vers le modèle de référence. Cette formulation permet d'utiliser directement les paires de préférences humaines sans passer par l'intermédiaire d'un modèle de récompense, simplifiant considérablement le pipeline.

Les avantages de DPO sont significatifs :

• Simplicité : un seul modèle à entraîner, pas de reward model séparé
• Stabilité : l'entraînement est plus prévisible qu'avec PPO
• Efficacité : moins de ressources computationnelles nécessaires
• Accessibilité : implémentation plus facile pour les équipes avec moins d'expertise RL

En contrepartie, DPO peut être moins expressif que PPO pour certaines tâches complexes, et il est plus sensible à la qualité des données de préférence puisqu'il n'y a pas de modèle de récompense pour lisser les incohérences.

Les variantes et évolutions récentes

L'écosystème des techniques d'alignement continue d'évoluer rapidement. Plusieurs variantes ont été proposées pour adresser les limitations des approches canoniques :

ORPO (Odds Ratio Preference Optimization) simplifie encore DPO en éliminant le besoin d'un modèle de référence, combinant l'alignement aux préférences avec l'entraînement supervisé standard en une seule étape.

IPO (Identity Preference Optimization) modifie la fonction de perte de DPO pour éviter certains problèmes de surapprentissage observés quand les préférences sont très marquées.

KTO (Kahneman-Tversky Optimization) s'inspire de la théorie des perspectives en économie comportementale pour modéliser différemment les gains et les pertes, produisant un alignement qui reflète mieux certains biais cognitifs humains.

Méthode	Complexité	Besoin d'un reward model	Stabilité	Expressivité
PPO	Élevée	Oui	Moyenne	Élevée
DPO	Faible	Non	Élevée	Bonne
ORPO	Très faible	Non	Élevée	Modérée
IPO	Faible	Non	Très élevée	Bonne

Le choix entre ces méthodes dépend du contexte : ressources disponibles, expertise de l'équipe, nature des données de préférence, et exigences de performance. Pour la plupart des cas d'usage, DPO offre un excellent compromis entre simplicité et efficacité.

Défis et considérations pratiques

L'implémentation du RLHF en production soulève plusieurs défis qu'il convient d'anticiper.

La qualité des données de préférence reste le facteur le plus déterminant. Des annotations incohérentes, biaisées ou ne reflétant pas les véritables cas d'usage produiront un modèle mal aligné. Investir dans des guidelines claires, une formation des annotateurs, et des mécanismes de contrôle qualité est généralement plus impactant qu'optimiser l'algorithme d'entraînement.

Le surapprentissage aux préférences peut conduire à des comportements indésirables. Un modèle trop optimisé pour plaire aux annotateurs peut devenir excessivement servile, éviter toute prise de position, ou produire des réponses stéréotypées qui maximisent les scores sans apporter de valeur réelle. Le dosage de la régularisation (contrainte KL vers le modèle de base) est crucial pour préserver la diversité et les capacités du modèle.

L'évaluation des modèles alignés pose des difficultés spécifiques. Les benchmarks classiques mesurent des capacités (connaissances, raisonnement) mais pas l'alignement. Des protocoles d'évaluation humaine ou l'utilisation de LLM-as-a-Judge permettent d'estimer la qualité de l'alignement, mais restent coûteux et imparfaits.

Pour les équipes qui souhaitent expérimenter avec le RLHF, des bibliothèques comme TRL (Transformer Reinforcement Learning) de Hugging Face simplifient considérablement l'implémentation. Elles fournissent des implémentations prêtes à l'emploi de PPO, DPO et leurs variantes, permettant de se concentrer sur la préparation des données et l'ajustement des hyperparamètres plutôt que sur les détails algorithmiques.

À lire : découvrez notre formation LLM Engineering

Conclusion

Le RLHF représente une avancée fondamentale dans notre capacité à créer des modèles de langage qui ne se contentent pas de prédire le token suivant, mais qui répondent véritablement aux attentes des utilisateurs. En capturant les préférences humaines à travers des comparaisons systématiques et en optimisant les modèles pour satisfaire ces préférences, cette technique a transformé des LLM bruts en assistants utiles et relativement sûrs.

Le pipeline RLHF, de la collecte des feedbacks à l'optimisation finale, comporte de nombreuses subtilités et choix méthodologiques. L'émergence d'alternatives comme DPO a démocratisé ces techniques en les rendant accessibles à des équipes sans expertise approfondie en reinforcement learning. Chaque approche offre des compromis différents entre complexité, stabilité et expressivité.

Pour les équipes qui développent des applications LLM, comprendre le RLHF éclaire ce qui distingue les modèles de fondation des assistants alignés que l'on utilise via les API. Cette compréhension devient particulièrement précieuse lorsqu'on envisage de fine-tuner des modèles sur des domaines spécifiques ou d'ajuster leur comportement pour des cas d'usage particuliers. L'alignement n'est pas une opération ponctuelle mais un processus continu qui accompagne l'évolution des modèles et des attentes des utilisateurs.