Un embedding, c’est la façon dont un ordinateur mesure le sens : deux textes qui disent des choses proches obtiennent deux vecteurs qui pointent dans des directions proches.
Comment ça marche
Vous envoyez du texte à un modèle d’embeddings et recevez un vecteur de longueur fixe. Le guide d’OpenAI le dit simplement : « An embedding is a vector (list) of floating point numbers. » (traduction : « Un embedding est un vecteur (une liste) de nombres à virgule flottante. ») La longueur est fixe pour un modèle donné. text-embedding-3-small d’OpenAI renvoie 1 536 nombres par défaut et text-embedding-3-large 3 072.
Pour comparer deux textes, on compare leurs vecteurs. OpenAI recommande la similarité cosinus. Ses vecteurs étant normalisés à une longueur de 1, un simple produit scalaire donne le même classement. Comparer un vecteur de requête à des millions de vecteurs stockés, c’est le cœur de la recherche sémantique. Le faire vite et à grande échelle est le rôle d’une base de données vectorielle.
Les modèles d’embeddings sont d’un autre type que les modèles de chat. Ils lisent une entrée entière et renvoient des nombres ; ils ne génèrent pas de texte. Ils sont facturés par token d’entrée, et il n’y a pas de texte de sortie à payer.
Pourquoi c’est important
- Récupération. Les embeddings sont la première étape habituelle de la génération augmentée par récupération : calculer une fois les embeddings de vos documents, puis ceux de chaque question, récupérer les chunks les plus proches et les transmettre au modèle de chat.
- Le choix du modèle change les résultats. Le benchmark MTEB a testé 33 modèles sur 8 types de tâches, 58 jeux de données et 112 langues, et a constaté que « no particular text embedding method dominates across all tasks » (traduction : « aucune méthode d’embedding de texte ne domine sur toutes les tâches »). Testez sur vos propres requêtes, surtout pour l’arabe ou un texte multilingue.
- Dépendance. Les vecteurs d’un modèle ne sont pas comparables à ceux d’un autre. Changer de modèle d’embeddings impose de recalculer les embeddings de tout le corpus.
Sur BroadNet Inference
La documentation de BroadNet mentionne /v1/chat/completions, /v1/audio/transcriptions et GET /v1/models (une liste de modèles). Il n’y a pas d’endpoint d’embeddings. Pour un système de recherche ou de RAG, associez un modèle d’embeddings séparé (une API hébergée ou un modèle ouvert que vous faites tourner vous-même) à un modèle de chat BroadNet pour la réponse. Le guide du RAG en arabe montre cette répartition avec un modèle d’embeddings multilingue.
Si vos documents tiennent dans la fenêtre, un long contexte permet parfois de se passer complètement de récupération. Les compromis sont détaillés dans long contexte ou RAG.
Erreurs fréquentes
- Mélanger dans un même index des vecteurs issus de deux modèles d’embeddings.
- Calculer l’embedding de documents entiers plutôt que de chunks. Un seul vecteur pour 50 pages brouille tous les sujets qu’elles contiennent.
- Normaliser les documents mais pas les requêtes, ou l’inverse. Appliquez le même nettoyage de texte aux deux.