Embedding : définition, fonctionnement et exemple
Une représentation numérique qui traduit le sens d'un texte, d'une image ou d'un token en vecteur : définition, étapes, exemple de recherche sémantique, comparaison avec BM25 et outils.
Par Équipe Blent· Mis à jour le · 12 min de lecture· Niveau intermédiaire
Embedding en bref
- Traduction
- Plongement vectoriel
- Catégorie
- Représentation apprise
- Origine
- Bengio et al. 2003, Word2vec 2013
- Forme
- Vecteur dense de quelques centaines à milliers de dimensions
Définition : Embedding
Un embedding, ou plongement vectoriel, est une représentation numérique dense d'un objet (mot, phrase, document, image) sous la forme d'une liste de nombres, appelée vecteur. Un modèle entraîné place les objets de sens proche à des positions voisines dans cet espace, de sorte que la distance entre deux vecteurs mesure leur ressemblance sémantique. Les embeddings permettent de comparer des contenus par leur sens plutôt que par leurs mots exacts. Ils sont au cœur de la recherche sémantique, du RAG, des systèmes de recommandation et des bases de données vectorielles.
En une phrase : un embedding transforme un contenu en vecteur de nombres, pour que des contenus de sens proche soient aussi proches dans l'espace.
Dans cette définition
Qu'est-ce qu'un embedding ?
Un embedding est une façon de représenter un contenu par une liste de nombres, de sorte que le sens soit pris en compte dans le calcul. Un ordinateur ne comprend pas qu'« automobile » et « voiture » désignent la même chose. En revanche, si un modèle leur attribue deux vecteurs voisins, une simple opération mathématique suffit à constater leur proximité.
Un embedding se distingue d'une tokenisation : celle-ci découpe un texte en tokens identifiés par des numéros arbitraires, sans information de sens. L'embedding associe à chaque unité, ou à un texte entier, un vecteur appris qui encode des ressemblances. Il est produit par un réseau de neurones, souvent un Transformer, et constitue la première couche de la plupart des LLM.
L'idée remonte aux modèles de langage neuronaux de Bengio et al. en 2003. Elle s'est popularisée avec Word2vec (Mikolov et al., Google, 2013), puis avec les embeddings de phrases comme Sentence-BERT en 2019. Notre article sur le word embedding retrace cette évolution.
À retenir : un embedding ne stocke pas le texte, il stocke une position dans un espace de sens. Deux textes sans mot commun peuvent y être voisins.
Exemple : une recherche sémantique en Python
Prenons un petit catalogue de questions d'aide, que nous voulons interroger en langage naturel. Avec la bibliothèque sentence-transformers, tout tient en quelques lignes :
from sentence_transformers import SentenceTransformer, util
# Modèle multilingue léger (vecteurs de 384 dimensions)
model = SentenceTransformer("paraphrase-multilingual-MiniLM-L12-v2")
documents = [
"Comment réinitialiser mon mot de passe ?",
"Quels sont vos délais de livraison ?",
"Comment résilier mon abonnement ?",
]
vecteurs = model.encode(documents, normalize_embeddings=True)
requete = "J'ai oublié mes identifiants de connexion"
v_requete = model.encode(requete, normalize_embeddings=True)
# Similarité cosinus entre la requête et chaque document
scores = util.cos_sim(v_requete, vecteurs)[0]
meilleur = scores.argmax().item()
print(documents[meilleur], float(scores[meilleur]))
Le modèle encode les trois documents, puis la requête, dans le même espace. La similarité cosinus désigne la première question comme la plus proche, alors que la requête ne contient ni « mot de passe » ni « réinitialiser ». En production, les vecteurs des documents ne sont pas recalculés à chaque requête : ils sont stockés dans une base comme pgvector ou Qdrant.
Les principaux cas d'usage des embeddings
Dès qu'il faut comparer, regrouper ou retrouver des contenus par leur sens, un embedding fournit la brique de base.
Recherche sémantique
Retrouver des documents pertinents même sans mot en commun avec la requête.
RAG
Sélectionner les passages à fournir au LLM pour répondre à partir d'un corpus.
Recommandation
Suggérer des produits, articles ou contenus proches de ceux déjà consultés.
Classification et clustering
Regrouper ou étiqueter des textes à partir de leurs vecteurs.
Détection de doublons
Repérer des contenus quasi identiques malgré des reformulations.
Recherche multimodale
Retrouver une image à partir d'un texte, dans un espace vectoriel commun.
Quels sont les avantages des embeddings ?
Les embeddings apportent une compréhension du sens que les approches fondées sur les mots exacts n'ont pas.
- Ils rapprochent des formulations différentes qui expriment la même idée.
- Ils fonctionnent sur des textes, des images, du code ou de l'audio avec la même logique.
- Ils tolèrent les fautes de frappe, les synonymes et les paraphrases.
- Un vecteur de taille fixe se compare très vite, même sur des millions d'éléments.
- Beaucoup de modèles sont disponibles en open source ou par API, sans entraînement préalable.
- Ils s'intègrent facilement à une base vectorielle ou à PostgreSQL.
Quelles sont les limites des embeddings ?
Un embedding capte une proximité de sens approximative, pas une vérité : il a des angles morts qu'il faut connaître.
- Les termes exacts (références produit, acronymes, codes d'erreur) sont souvent mal retrouvés.
- Les vecteurs ne sont pas interprétables : on ne sait pas expliquer pourquoi deux contenus sont proches.
- Le modèle reflète ses données d'entraînement, y compris leurs biais et leurs lacunes de langue ou de domaine.
- Changer de modèle oblige à recalculer tous les vecteurs, car les espaces ne sont pas compatibles.
- Les contenus très longs perdent en précision une fois résumés en un seul vecteur.
- Le stockage et la recherche approchée ont un coût en mémoire, en latence et en rappel.
Embedding dense ou représentation creuse : quelles différences ?
Avant les embeddings, la recherche textuelle reposait sur des représentations creuses : TF-IDF et BM25 associent à chaque document un vecteur de la taille du vocabulaire, presque entièrement composé de zéros, où chaque dimension correspond à un mot précis.
| Critère | Embedding dense | TF-IDF / BM25 |
|---|---|---|
| Dimensions | Quelques centaines à milliers | Taille du vocabulaire (des dizaines de milliers) |
| Contenu du vecteur | Valeurs apprises, presque toutes non nulles | Poids de mots, presque tous nuls |
| Synonymes et paraphrases | Bien gérés | Non gérés sans mot commun |
| Termes exacts, codes, acronymes | Parfois ratés | Très bien retrouvés |
| Entraînement | Modèle neuronal à pré-entraîner | Aucun, simples statistiques |
| Explicabilité | Faible | Forte : on voit les mots qui comptent |
Les deux approches échouent à des endroits différents. L'embedding retrouve une idée formulée autrement, la représentation creuse retrouve une référence exacte comme « ERR-4012 ».
Ce n'est pas un choix binaire. La recherche hybride exécute les deux recherches en parallèle puis fusionne les classements, par exemple avec la Reciprocal Rank Fusion. Elle est devenue la configuration par défaut de nombreux systèmes de RAG.
Choisir et mettre en production un modèle d'embedding
Le choix d'un modèle repose sur quelques critères concrets :
- Langue : un modèle entraîné surtout sur de l'anglais retrouve moins bien des documents en français. Les modèles multilingues sont préférables pour un corpus francophone.
- Longueur maximale : au-delà de la fenêtre du modèle, le texte est tronqué. Le découpage en fragments (chunking) doit en tenir compte.
- Dimensions et coût : des vecteurs plus grands coûtent plus de stockage et de latence dans la base vectorielle.
- Évaluation : les classements publics comme MTEB donnent une première indication, mais un test sur vos propres questions reste indispensable.
Notre guide sur les modèles d'embedding détaille ces critères. Une fois le modèle retenu, il faut le figer : le versionner avec l'index, et prévoir une réindexation complète avant tout changement. Les bases vectorielles comme Pinecone ou Weaviate proposent chacune l'indexation approchée (HNSW par exemple) qui échange un peu de rappel contre beaucoup de vitesse.
Quand utiliser des embeddings ?
La question clé est de savoir si la pertinence se joue sur le sens ou sur la présence de termes précis.
Le sens prime sur les mots
- Les utilisateurs formulent leurs questions en langage naturel.
- Le corpus contient beaucoup de synonymes et de reformulations.
- Vous construisez un RAG ou un moteur de recommandation.
- Le contenu est multilingue ou multimodal.
Les termes exacts suffisent
- Les recherches portent sur des identifiants, des codes ou des références.
- Un filtre sur des champs structurés répond au besoin.
- Le corpus est petit et la recherche par mots-clés donne de bons résultats.
- Chaque résultat doit pouvoir être justifié mot par mot.
Technologies et outils associés aux embeddings
Un pipeline d'embeddings combine un modèle qui produit les vecteurs et une base qui les stocke et les interroge.
- Modèles
Hugging Face
Hub de modèles d'embedding ouverts et bibliothèque Transformers pour les utiliser.
- Bibliothèque
sentence-transformers
Bibliothèque Python dédiée aux embeddings de phrases, issue du travail de Sentence-BERT.
- Modèles
OpenAI
Modèles d'embedding accessibles par API, avec plusieurs tailles de vecteurs.
- Modèles
Cohere
Modèles d'embedding et de reranking multilingues, accessibles par API.
- Base vectorielle
Pinecone
Service managé pour stocker et rechercher des embeddings à grande échelle.
- Base vectorielle
Qdrant
Moteur de recherche vectorielle open source, avec filtres sur métadonnées.
- Base vectorielle
Weaviate
Base vectorielle open source avec recherche hybride intégrée.
- Base vectorielle
pgvector
Extension PostgreSQL pour stocker des vecteurs à côté des données relationnelles.
Les concepts à connaître autour des embeddings
Ces notions aident à choisir un modèle, à configurer l'index et à diagnostiquer une recherche décevante.
- Similarité cosinusLa mesure qui compare l'angle entre deux vecteurs, indépendamment de leur norme.
- TokenisationLe découpage d'un texte en unités avant son encodage par le modèle.
- ChunkingLe découpage d'un document en fragments, dont la taille influence la qualité de chaque vecteur.
- Recherche hybrideLa combinaison de la recherche vectorielle et de la recherche par mots-clés.
- RerankingLe réordonnancement des résultats par un modèle plus précis.
- RAGL'architecture qui s'appuie sur la recherche vectorielle pour alimenter un LLM.
Ressources pour approfondir les embeddings
Trois articles pour passer de la définition au choix d'un modèle et à une recherche hybride.
- Guide
Modèles d'embedding : bien choisir pour son RAG
Critères de choix, comparaison des modèles et pièges à éviter pour un système de recherche.
Lire l'article - Article
Word Embedding & NLP : définition, exemples
Des premiers plongements de mots aux représentations contextuelles.
Lire l'article - Article
Reciprocal Rank Fusion : améliorer son RAG
Fusionner les résultats de la recherche vectorielle et de la recherche par mots-clés.
Lire l'article
Questions fréquentes
Questions fréquentes
Expertise
À propos de l'auteur
Équipe Blent
Les ingénieurs et mentors Blent conçoivent, évaluent et mettent en production des applications LLM, et forment chaque année des centaines de professionnels à l'IA générative.
Sources et méthodologie
- Bengio et al., A Neural Probabilistic Language Model, Journal of Machine Learning Research 2003
- Mikolov et al., Efficient Estimation of Word Representations in Vector Space, 2013
- Reimers et Gurevych, Sentence-BERT: Sentence Embeddings using Siamese BERT-Networks, EMNLP 2019
- Retours d'expérience des projets et formations Blent
Comment fonctionne un embedding ?
Le principe est le même pour un mot, une phrase ou une image : un modèle convertit le contenu en vecteur, puis on compare les vecteurs entre eux.
Découper le contenu en unités
Un texte est d'abord segmenté en tokens par un tokenizer. Une image est découpée en pixels ou en patchs, selon l'architecture du modèle.
Encoder avec un modèle entraîné
Un réseau de neurones, le plus souvent un Transformer, transforme les unités en représentations numériques qui tiennent compte du contexte.
Produire un vecteur de taille fixe
Les représentations sont agrégées en un seul vecteur, par exemple de 384, 768 ou 1 536 dimensions, quelle que soit la longueur du contenu d'entrée.
Mesurer la proximité
Deux vecteurs sont comparés par une mesure de similarité : similarité cosinus, produit scalaire ou distance euclidienne. Plus le score est élevé, plus les sens sont proches.
Indexer et rechercher
Les vecteurs sont stockés dans un index ou une base vectorielle. À chaque requête, on la vectorise puis on retrouve les voisins les plus proches.