La direction allant de « homme » à « femme » capture le concept de genre. En l'ajoutant à « roi », on arrive à « reine ». Ce n'est pas programmé - cela émerge des motifs du langage.

Autres exemples : Paris − France + Italie ≈ Rome, plus grand − grand + petit ≈ plus petit.

Dimensions des embeddings

Les modèles modernes utilisent différentes tailles d'embeddings :

| Modèle | Dimensions des embeddings | |--------|--------------------------| | Word2Vec | 100–300 | | BERT | 768 | | GPT-3 | 12 288 | | OpenAI text-embedding-3-large | 3 072 |

Plus de dimensions capturent des distinctions plus fines mais nécessitent plus de mémoire et de calcul. Pensez-y comme décrire une personne : 3 dimensions (taille, poids, âge) donnent une esquisse grossière ; 768 dimensions peignent un portrait détaillé.

Des mots aux phrases

Les embeddings de mots représentent des mots individuels, mais nous avons souvent besoin de comparer des phrases ou des documents entiers. Les embeddings de phrases (issus de modèles comme Sentence-BERT ou l'API d'embeddings d'OpenAI) compriment un passage entier en un seul vecteur.

« Comment réinitialiser mon mot de passe ? » et « J'ai oublié mes identifiants de connexion » auraient des embeddings de phrases très similaires, même s'ils ne partagent presque aucun mot. L'embedding capture l'intention, pas seulement le vocabulaire.

Mesurer la similarité - Similarité cosinus

Pour comparer deux embeddings, on utilise la similarité cosinus - le cosinus de l'angle entre deux vecteurs. Elle varie de −1 (opposés) à +1 (même direction).

• « Heureux » et « joyeux » : cosinus ≈ 0,85 (très similaires).
• « Heureux » et « table » : cosinus ≈ 0,10 (sans rapport).
• « Amour » et « haine » : cosinus peut être ≈ 0,40 (liés mais opposés).

La similarité cosinus ignore la magnitude des vecteurs, se concentrant uniquement sur la direction - là où réside le sens.

Bases de données vectorielles - La recherche par le sens

Une base de données vectorielle stocke des millions d'embeddings et récupère les plus similaires à une vitesse fulgurante. Au lieu de la correspondance par mots-clés (« trouver les documents contenant 'apprentissage automatique' »), on effectue une recherche par sens (« trouver les documents sur l'éducation en IA »).

Les bases de données vectorielles populaires incluent :

• Pinecone - entièrement gérée, s'adapte sans effort.
• Weaviate - open source avec recherche hybride (vecteurs + mots-clés).
• ChromaDB - légère, idéale pour le prototypage.
• pgvector - ajoute la recherche vectorielle à PostgreSQL.

Ces bases de données utilisent des algorithmes comme HNSW (Hierarchical Navigable Small World) pour rechercher parmi des milliards de vecteurs en quelques millisecondes.

RAG - Génération augmentée par récupération

RAG est l'un des patterns les plus importants de l'IA moderne. Il combine la recherche vectorielle avec les modèles de langage :

1. Convertir vos documents en embeddings et les stocker dans une base de données vectorielle.
2. Lorsqu'un utilisateur pose une question, convertir la requête en embedding.
3. Récupérer les fragments de documents les plus similaires via la recherche vectorielle.
4. Fournir ces fragments au modèle de langage comme contexte.
5. Le modèle génère une réponse ancrée dans vos données.

RAG permet aux modèles de langage de répondre à des questions sur vos données spécifiques - documents d'entreprise, catalogues de produits, articles de recherche - sans avoir à les réentraîner. Il réduit considérablement les hallucinations car le modèle dispose de vraies sources à référencer.

Applications pratiques

Les embeddings alimentent d'innombrables systèmes du monde réel :

• Recherche sémantique - trouver des résultats pertinents indépendamment de la formulation exacte.
• Recommandations - « les utilisateurs qui ont aimé ceci ont aussi aimé… » via la similarité des embeddings.
• Regroupement (clustering) - grouper automatiquement des tickets de support, des avis ou des documents similaires.
• Détection d'anomalies - repérer les valeurs aberrantes éloignées de tout groupe.
• Détection de doublons - trouver du contenu quasi identique dans de grands corpus.

Points clés à retenir

• Les embeddings sont des représentations vectorielles denses où le sens devient géométrie.
• Les concepts similaires se regroupent ; les relations apparaissent sous forme de directions.
• La similarité cosinus mesure la proximité entre deux significations.
• Les bases de données vectorielles permettent la recherche par le sens à grande échelle.
• RAG combine la recherche vectorielle avec les modèles de langage pour répondre à des questions à partir de vos propres données.

📚 Pour aller plus loin

• Jay Alammar - The Illustrated Word2Vec - Présentation visuelle et intuitive du fonctionnement des embeddings de mots
• Pinecone Learning Centre - What Are Embeddings? - Guide pratique sur les embeddings et la recherche vectorielle
• OpenAI Embeddings Guide - Comment générer et utiliser des embeddings avec l'API OpenAI