SLM : définition, avantages et usages des petits modèles

Un SLM est un modèle de langage volontairement compact. Là où les LLM de pointe visent la polyvalence maximale, au prix d'une infrastructure GPU conséquente, un SLM cherche le meilleur niveau de qualité possible dans une enveloppe de calcul réduite. On situe généralement ces modèles entre quelques centaines de millions et une dizaine de milliards de paramètres, sans frontière officielle.

Le principe de fonctionnement ne change pas : un SLM est un réseau Transformer qui prédit le token suivant. Ce qui change, c'est la stratégie. Pendant plusieurs années, la course s'est jouée sur la taille. Puis les éditeurs ont montré qu'un modèle plus petit, entraîné plus longtemps sur des données mieux choisies, pouvait rivaliser sur de nombreuses tâches avec des modèles bien plus gros de la génération précédente. Microsoft a popularisé cette approche avec sa famille Phi, présentée en 2023 dans l'article « Textbooks Are All You Need », qui misait sur des données de qualité « manuel scolaire ».

L'intérêt des SLM est aussi pratique : ils s'exécutent sur un ordinateur portable, un smartphone ou un serveur sans GPU haut de gamme. Ils rendent possibles des usages hors ligne, des traitements de données sensibles sans sortie de l'entreprise et des coûts d'inférence très faibles à grand volume.

À retenir : un SLM n'est pas une architecture différente, c'est un compromis différent. On échange de la polyvalence contre de la sobriété, de la confidentialité et de la vitesse.

Deux techniques reviennent systématiquement dans la conception et le déploiement des SLM. Elles agissent à des niveaux différents et se combinent.

La distillation produit un nouveau modèle, plus petit. Un modèle enseignant génère des sorties, ou des distributions de probabilité sur les tokens, que le modèle élève apprend à reproduire. L'idée a été formalisée par Geoffrey Hinton et ses coauteurs en 2015. Hugging Face l'a appliquée à BERT en 2019 avec DistilBERT, environ 40 % plus petit et 60 % plus rapide tout en conservant l'essentiel de ses performances. Aujourd'hui, de nombreux petits modèles sont entraînés sur des données générées ou annotées par de grands modèles.

La quantization garde le même modèle mais réduit la précision de ses poids. Le calcul de la mémoire nécessaire est simple : nombre de paramètres multiplié par le nombre d'octets par paramètre.

Il faut ajouter à ces chiffres la mémoire du contexte (le cache des clés et valeurs de l'attention), qui grossit avec la longueur des requêtes. Notre article sur la quantization des LLM détaille les formats (GGUF, GPTQ, AWQ) et leur effet sur la qualité.

Ollama télécharge des modèles déjà quantifiés et les sert via une API locale. Quelques commandes suffisent pour tester un petit modèle sur un ordinateur portable.

# Télécharger deux petits modèles (versions quantifiées en 4 bits par défaut)
ollama pull llama3.2:3b
ollama pull gemma2:2b

# Vérifier leur taille sur le disque
ollama list

# Poser une question en ligne de commande
ollama run llama3.2:3b "Classe ce message : « Ma commande n'est jamais arrivée »"

# Interroger le modèle via l'API REST locale
curl http://localhost:11434/api/generate -d '{
  "model": "gemma2:2b",
  "prompt": "Extrais le nom et la date : Facture de Jeanne Martin du 12 mars.",
  "format": "json",
  "stream": false
}'

Chaque modèle occupe ici quelques gigaoctets et répond sans connexion internet. Pour un usage en production avec de nombreux utilisateurs simultanés, on passe plutôt à un serveur d'inférence comme vLLM, qui optimise le traitement par lots sur GPU. Les modèles eux-mêmes, en versions complètes ou quantifiées, se trouvent pour la plupart sur Hugging Face.

SLM et LLM partagent la même architecture et les mêmes principes d'entraînement. Ils diffèrent par l'échelle, et donc par les compromis qu'ils imposent.

Ce n'est pas un choix exclusif. Une architecture courante consiste à placer un SLM en première ligne (classification, extraction, routage) et à n'appeler un LLM que pour les requêtes difficiles. Associé à un RAG, un SLM peut aussi répondre de façon fiable à partir de documents internes, puisqu'il s'appuie alors sur le contexte fourni plutôt que sur sa mémoire.

Les versions se succèdent rapidement ; les familles, elles, sont stables. Les plus utilisées sont toutes disponibles en poids ouverts, avec des licences à vérifier selon l'usage.

• Phi (Microsoft) : la famille qui a lancé l'approche « petites tailles, données de qualité », réputée pour ses résultats en raisonnement et en code relativement à sa taille.
• Gemma (Google) : les modèles ouverts de Google, construits à partir des travaux menés pour Gemini et déclinés en plusieurs tailles, dont certaines pensées pour l'embarqué.
• Mistral 7B (Mistral AI) : publié en 2023 sous licence Apache 2.0, il a démontré qu'un modèle de 7 milliards de paramètres pouvait dépasser des modèles bien plus grands de l'époque.
• Llama en petites tailles (Meta) : Meta décline sa famille Llama en versions de quelques milliards de paramètres, destinées notamment aux appareils mobiles.
• Qwen (Alibaba) et SmolLM (Hugging Face) : deux familles proposant des modèles très compacts, jusqu'à moins d'un milliard de paramètres, utiles pour les tests et l'edge.