Lexique · Concepts / définitions

Embedding : définition, fonctionnement et exemple

Une représentation numérique qui traduit le sens d'un texte, d'une image ou d'un token en vecteur : définition, étapes, exemple de recherche sémantique, comparaison avec BM25 et outils.

Par Équipe Blent· Mis à jour le · 12 min de lecture· Niveau intermédiaire

Embedding en bref

Traduction
Plongement vectoriel
Catégorie
Représentation apprise
Origine
Bengio et al. 2003, Word2vec 2013
Forme
Vecteur dense de quelques centaines à milliers de dimensions

Définition : Embedding

Un embedding, ou plongement vectoriel, est une représentation numérique dense d'un objet (mot, phrase, document, image) sous la forme d'une liste de nombres, appelée vecteur. Un modèle entraîné place les objets de sens proche à des positions voisines dans cet espace, de sorte que la distance entre deux vecteurs mesure leur ressemblance sémantique. Les embeddings permettent de comparer des contenus par leur sens plutôt que par leurs mots exacts. Ils sont au cœur de la recherche sémantique, du RAG, des systèmes de recommandation et des bases de données vectorielles.

En une phrase : un embedding transforme un contenu en vecteur de nombres, pour que des contenus de sens proche soient aussi proches dans l'espace.

Dans cette définition

Qu'est-ce qu'un embedding ?

Un embedding est une façon de représenter un contenu par une liste de nombres, de sorte que le sens soit pris en compte dans le calcul. Un ordinateur ne comprend pas qu'« automobile » et « voiture » désignent la même chose. En revanche, si un modèle leur attribue deux vecteurs voisins, une simple opération mathématique suffit à constater leur proximité.

Un embedding se distingue d'une tokenisation : celle-ci découpe un texte en tokens identifiés par des numéros arbitraires, sans information de sens. L'embedding associe à chaque unité, ou à un texte entier, un vecteur appris qui encode des ressemblances. Il est produit par un réseau de neurones, souvent un Transformer, et constitue la première couche de la plupart des LLM.

L'idée remonte aux modèles de langage neuronaux de Bengio et al. en 2003. Elle s'est popularisée avec Word2vec (Mikolov et al., Google, 2013), puis avec les embeddings de phrases comme Sentence-BERT en 2019. Notre article sur le word embedding retrace cette évolution.

À retenir : un embedding ne stocke pas le texte, il stocke une position dans un espace de sens. Deux textes sans mot commun peuvent y être voisins.

Comment fonctionne un embedding ?

Le principe est le même pour un mot, une phrase ou une image : un modèle convertit le contenu en vecteur, puis on compare les vecteurs entre eux.

  1. Découper le contenu en unités

    Un texte est d'abord segmenté en tokens par un tokenizer. Une image est découpée en pixels ou en patchs, selon l'architecture du modèle.

  2. Encoder avec un modèle entraîné

    Un réseau de neurones, le plus souvent un Transformer, transforme les unités en représentations numériques qui tiennent compte du contexte.

  3. Produire un vecteur de taille fixe

    Les représentations sont agrégées en un seul vecteur, par exemple de 384, 768 ou 1 536 dimensions, quelle que soit la longueur du contenu d'entrée.

  4. Mesurer la proximité

    Deux vecteurs sont comparés par une mesure de similarité : similarité cosinus, produit scalaire ou distance euclidienne. Plus le score est élevé, plus les sens sont proches.

  5. Indexer et rechercher

    Les vecteurs sont stockés dans un index ou une base vectorielle. À chaque requête, on la vectorise puis on retrouve les voisins les plus proches.

Exemple : une recherche sémantique en Python

Prenons un petit catalogue de questions d'aide, que nous voulons interroger en langage naturel. Avec la bibliothèque sentence-transformers, tout tient en quelques lignes :

python
from sentence_transformers import SentenceTransformer, util

# Modèle multilingue léger (vecteurs de 384 dimensions)
model = SentenceTransformer("paraphrase-multilingual-MiniLM-L12-v2")

documents = [
    "Comment réinitialiser mon mot de passe ?",
    "Quels sont vos délais de livraison ?",
    "Comment résilier mon abonnement ?",
]
vecteurs = model.encode(documents, normalize_embeddings=True)

requete = "J'ai oublié mes identifiants de connexion"
v_requete = model.encode(requete, normalize_embeddings=True)

# Similarité cosinus entre la requête et chaque document
scores = util.cos_sim(v_requete, vecteurs)[0]
meilleur = scores.argmax().item()
print(documents[meilleur], float(scores[meilleur]))

Le modèle encode les trois documents, puis la requête, dans le même espace. La similarité cosinus désigne la première question comme la plus proche, alors que la requête ne contient ni « mot de passe » ni « réinitialiser ». En production, les vecteurs des documents ne sont pas recalculés à chaque requête : ils sont stockés dans une base comme pgvector ou Qdrant.

Les principaux cas d'usage des embeddings

Dès qu'il faut comparer, regrouper ou retrouver des contenus par leur sens, un embedding fournit la brique de base.

  • Recherche sémantique

    Retrouver des documents pertinents même sans mot en commun avec la requête.

  • RAG

    Sélectionner les passages à fournir au LLM pour répondre à partir d'un corpus.

  • Recommandation

    Suggérer des produits, articles ou contenus proches de ceux déjà consultés.

  • Classification et clustering

    Regrouper ou étiqueter des textes à partir de leurs vecteurs.

  • Détection de doublons

    Repérer des contenus quasi identiques malgré des reformulations.

  • Recherche multimodale

    Retrouver une image à partir d'un texte, dans un espace vectoriel commun.

Quels sont les avantages des embeddings ?

Les embeddings apportent une compréhension du sens que les approches fondées sur les mots exacts n'ont pas.

  • Ils rapprochent des formulations différentes qui expriment la même idée.
  • Ils fonctionnent sur des textes, des images, du code ou de l'audio avec la même logique.
  • Ils tolèrent les fautes de frappe, les synonymes et les paraphrases.
  • Un vecteur de taille fixe se compare très vite, même sur des millions d'éléments.
  • Beaucoup de modèles sont disponibles en open source ou par API, sans entraînement préalable.
  • Ils s'intègrent facilement à une base vectorielle ou à PostgreSQL.

Quelles sont les limites des embeddings ?

Un embedding capte une proximité de sens approximative, pas une vérité : il a des angles morts qu'il faut connaître.

  • Les termes exacts (références produit, acronymes, codes d'erreur) sont souvent mal retrouvés.
  • Les vecteurs ne sont pas interprétables : on ne sait pas expliquer pourquoi deux contenus sont proches.
  • Le modèle reflète ses données d'entraînement, y compris leurs biais et leurs lacunes de langue ou de domaine.
  • Changer de modèle oblige à recalculer tous les vecteurs, car les espaces ne sont pas compatibles.
  • Les contenus très longs perdent en précision une fois résumés en un seul vecteur.
  • Le stockage et la recherche approchée ont un coût en mémoire, en latence et en rappel.

Embedding dense ou représentation creuse : quelles différences ?

Avant les embeddings, la recherche textuelle reposait sur des représentations creuses : TF-IDF et BM25 associent à chaque document un vecteur de la taille du vocabulaire, presque entièrement composé de zéros, où chaque dimension correspond à un mot précis.

CritèreEmbedding denseTF-IDF / BM25
DimensionsQuelques centaines à milliersTaille du vocabulaire (des dizaines de milliers)
Contenu du vecteurValeurs apprises, presque toutes non nullesPoids de mots, presque tous nuls
Synonymes et paraphrasesBien gérésNon gérés sans mot commun
Termes exacts, codes, acronymesParfois ratésTrès bien retrouvés
EntraînementModèle neuronal à pré-entraînerAucun, simples statistiques
ExplicabilitéFaibleForte : on voit les mots qui comptent

Les deux approches échouent à des endroits différents. L'embedding retrouve une idée formulée autrement, la représentation creuse retrouve une référence exacte comme « ERR-4012 ».

Ce n'est pas un choix binaire. La recherche hybride exécute les deux recherches en parallèle puis fusionne les classements, par exemple avec la Reciprocal Rank Fusion. Elle est devenue la configuration par défaut de nombreux systèmes de RAG.

Choisir et mettre en production un modèle d'embedding

Le choix d'un modèle repose sur quelques critères concrets :

  • Langue : un modèle entraîné surtout sur de l'anglais retrouve moins bien des documents en français. Les modèles multilingues sont préférables pour un corpus francophone.
  • Longueur maximale : au-delà de la fenêtre du modèle, le texte est tronqué. Le découpage en fragments (chunking) doit en tenir compte.
  • Dimensions et coût : des vecteurs plus grands coûtent plus de stockage et de latence dans la base vectorielle.
  • Évaluation : les classements publics comme MTEB donnent une première indication, mais un test sur vos propres questions reste indispensable.

Notre guide sur les modèles d'embedding détaille ces critères. Une fois le modèle retenu, il faut le figer : le versionner avec l'index, et prévoir une réindexation complète avant tout changement. Les bases vectorielles comme Pinecone ou Weaviate proposent chacune l'indexation approchée (HNSW par exemple) qui échange un peu de rappel contre beaucoup de vitesse.

Quand utiliser des embeddings ?

La question clé est de savoir si la pertinence se joue sur le sens ou sur la présence de termes précis.

Pertinent si

Le sens prime sur les mots

  • Les utilisateurs formulent leurs questions en langage naturel.
  • Le corpus contient beaucoup de synonymes et de reformulations.
  • Vous construisez un RAG ou un moteur de recommandation.
  • Le contenu est multilingue ou multimodal.
Moins adapté si

Les termes exacts suffisent

  • Les recherches portent sur des identifiants, des codes ou des références.
  • Un filtre sur des champs structurés répond au besoin.
  • Le corpus est petit et la recherche par mots-clés donne de bons résultats.
  • Chaque résultat doit pouvoir être justifié mot par mot.

Technologies et outils associés aux embeddings

Un pipeline d'embeddings combine un modèle qui produit les vecteurs et une base qui les stocke et les interroge.

Les concepts à connaître autour des embeddings

Ces notions aident à choisir un modèle, à configurer l'index et à diagnostiquer une recherche décevante.

Ressources pour approfondir les embeddings

Trois articles pour passer de la définition au choix d'un modèle et à une recherche hybride.

Questions fréquentes

Questions fréquentes

Embedding se traduit par plongement, ou plongement vectoriel. Le terme désigne le fait de « plonger » un objet (mot, phrase, image) dans un espace de vecteurs, où la position de chaque objet reflète son sens et sa proximité avec les autres.

Expertise

À propos de l'auteur

Équipe Blent

Les ingénieurs et mentors Blent conçoivent, évaluent et mettent en production des applications LLM, et forment chaque année des centaines de professionnels à l'IA générative.

Sources et méthodologie

  • Bengio et al., A Neural Probabilistic Language Model, Journal of Machine Learning Research 2003
  • Mikolov et al., Efficient Estimation of Word Representations in Vector Space, 2013
  • Reimers et Gurevych, Sentence-BERT: Sentence Embeddings using Siamese BERT-Networks, EMNLP 2019
  • Retours d'expérience des projets et formations Blent