Modèle de fondation : définition, exemples et enjeux

Un modèle de fondation est un modèle généraliste, entraîné une fois sur une quantité massive de données, que l'on réutilise ensuite comme point de départ pour une multitude de tâches. Il ne désigne pas une architecture ni un type de données, mais une manière de construire et d'exploiter l'IA. Les LLM en sont l'incarnation la plus visible, mais le même schéma s'applique aux modèles d'images, de parole, de code ou de séries temporelles.

Le terme a été proposé en août 2021 par un collectif de chercheurs de l'université Stanford, dans le rapport « On the Opportunities and Risks of Foundation Models ». La même année, Stanford a créé un centre dédié, le Center for Research on Foundation Models (CRFM). Les auteurs y décrivaient deux phénomènes : l'émergence, c'est-à-dire l'apparition de capacités qui n'avaient pas été explicitement enseignées au modèle, et l'homogénéisation, le fait que de nombreuses applications reposent désormais sur un petit nombre de modèles de base. Ils citaient BERT, GPT-3 ou CLIP comme premiers exemples.

Ce paradigme rompt avec l'approche antérieure du machine learning, où chaque tâche (classer des emails, traduire, détecter des objets) demandait son propre jeu de données annoté et son propre modèle. Avec un modèle de fondation, l'essentiel de l'apprentissage est fait en amont, de façon auto-supervisée, et l'adaptation à une tâche devient légère. Techniquement, la plupart de ces modèles reposent sur l'architecture Transformer, qui a rendu possible l'entraînement sur des volumes de données inédits.

À retenir : « modèle de fondation » décrit un rôle, pas une technologie. C'est le socle généraliste sur lequel on construit des applications, en le spécialisant le moins possible.

Trois leviers permettent de passer d'un modèle généraliste à une application précise. On les mobilise par ordre de coût et de complexité croissants.

1. Le prompting : décrire la tâche, donner des exemples et imposer un format de sortie dans les instructions. Aucun entraînement, effet immédiat.
2. Le RAG : fournir au modèle, à chaque requête, les passages de documents utiles pour répondre. Le modèle reste inchangé, ses connaissances sont complétées.
3. Le fine-tuning : prolonger l'entraînement sur des exemples propres à votre domaine pour modifier durablement le comportement du modèle (style, format, vocabulaire, tâche spécialisée).

L'exemple suivant illustre l'idée centrale du paradigme : un seul modèle, aucune ligne d'entraînement, trois tâches différentes obtenues uniquement par les instructions.

from openai import OpenAI

# Un modèle ouvert servi localement (API compatible OpenAI)
client = OpenAI(base_url="http://localhost:11434/v1", api_key="ollama")

def run(task: str, text: str) -> str:
    response = client.chat.completions.create(
        model="mistral",
        temperature=0,
        messages=[
            {"role": "system", "content": task},
            {"role": "user", "content": text},
        ],
    )
    return response.choices[0].message.content

email = "Bonjour, ma facture de mars est erronée, merci de me rappeler au 06 12 34 56 78."

print(run("Classe ce message : facturation, technique ou commercial. Un mot.", email))
print(run("Extrais les coordonnées au format JSON.", email))
print(run("Rédige une réponse courtoise de deux phrases.", email))

Avant les modèles de fondation, ces trois tâches auraient demandé un classifieur, un extracteur d'entités et un générateur de texte, chacun entraîné sur ses propres données annotées.

Les deux termes sont souvent employés l'un pour l'autre. Ils ne se situent pourtant pas au même niveau : l'un décrit un paradigme, l'autre un type de modèle.

Autrement dit, tout LLM généraliste est un modèle de fondation, mais un modèle de transcription audio ou de génération d'images en est un aussi, sans être un LLM.

Les premiers modèles de fondation étaient spécialisés : texte pour BERT et GPT-3, paires image et texte pour CLIP, audio pour Whisper. La tendance est à la fusion de ces modalités dans un seul modèle, capable de lire un graphique, d'écouter une question et de répondre par écrit ou à voix haute. Notre article sur les modèles multimodaux détaille ces architectures.

Le paradigme s'étend aussi hors du grand public. Des modèles de fondation sont pré-entraînés sur des séries temporelles, des images satellites, des séquences biologiques ou du code, puis adaptés à des tâches industrielles ou scientifiques précises. Une grande partie de ces modèles ouverts est publiée sur Hugging Face.

Le règlement européen sur l'intelligence artificielle (règlement (UE) 2024/1689, dit AI Act) n'emploie pas l'expression « modèle de fondation » dans son texte final : il parle de modèles d'IA à usage général, c'est-à-dire de modèles capables d'exécuter un large éventail de tâches et intégrables dans de nombreux systèmes. Les obligations qui les concernent s'appliquent depuis août 2025.

Les fournisseurs de ces modèles doivent notamment :

• tenir à jour une documentation technique du modèle ;
• fournir aux entreprises qui l'intègrent les informations nécessaires pour respecter leurs propres obligations ;
• mettre en place une politique de respect du droit d'auteur européen ;
• publier un résumé suffisamment détaillé des données utilisées pour l'entraînement.

Les modèles considérés comme présentant un risque systémique, en raison de leurs capacités ou de la puissance de calcul mobilisée pour leur entraînement, sont soumis à des obligations supplémentaires : évaluation et tests adverses, gestion des risques, signalement des incidents graves et cybersécurité renforcée. Les modèles publiés sous licence libre bénéficient d'allègements, sauf s'ils présentent un tel risque. Pour une entreprise qui se contente d'utiliser un modèle dans son application, ce sont surtout les règles applicables au système d'IA final, selon son niveau de risque, qui s'appliquent.