Embedding adalah cara komputer mengukur makna: dua teks yang mengatakan hal serupa mendapat dua vektor yang menunjuk ke arah yang mirip.
Cara kerjanya
Anda mengirim teks ke model embedding dan menerima satu vektor dengan panjang tetap. Panduan OpenAI menyatakannya dengan lugas: “An embedding is a vector (list) of floating point numbers.” (terjemahan: Embedding adalah vektor, atau daftar, berisi angka floating-point.) Panjangnya tetap untuk setiap model. text-embedding-3-small dari OpenAI mengembalikan 1.536 angka secara default dan text-embedding-3-large mengembalikan 3.072.
Untuk membandingkan dua teks, Anda membandingkan vektornya. OpenAI menyarankan cosine similarity. Vektor OpenAI dinormalisasi ke panjang 1, jadi dot product biasa memberi urutan yang sama. Membandingkan vektor query dengan jutaan vektor tersimpan adalah inti pencarian semantik. Melakukannya dengan cepat dalam skala besar adalah tugas vector database.
Model embedding berbeda jenis dari model chat. Model ini membaca satu input utuh dan mengembalikan angka; tidak menghasilkan teks. Model embedding ditagih per token input, dan tidak ada teks output yang perlu dibayar.
Kenapa ini penting
- Retrieval. Embeddings biasanya menjadi langkah pertama retrieval-augmented generation: buat embedding dokumen Anda sekali, buat embedding setiap pertanyaan, ambil chunk terdekat, lalu berikan ke model chat.
- Pilihan model mengubah hasil. Benchmark MTEB menguji 33 model pada 8 jenis tugas, 58 dataset, dan 112 bahasa, dan menemukan bahwa “no particular text embedding method dominates across all tasks” (terjemahan: tidak ada satu metode text embedding yang unggul di semua tugas). Uji dengan query Anda sendiri, terutama untuk teks bahasa Arab atau campuran bahasa.
- Lock-in. Vektor dari satu model tidak bisa dibandingkan dengan vektor dari model lain. Mengganti model embedding berarti membuat ulang embedding seluruh korpus.
Di BroadNet Inference
Dokumentasi BroadNet mencantumkan /v1/chat/completions, /v1/audio/transcriptions, dan GET /v1/models (daftar model). Tidak ada endpoint embeddings. Untuk sistem pencarian atau RAG, pasangkan model embedding terpisah (API yang di-host atau model terbuka yang Anda jalankan sendiri) dengan model chat BroadNet untuk jawabannya. Panduan RAG bahasa Arab menunjukkan pembagian ini dengan model embedding multibahasa.
Jika dokumen Anda muat, context window yang panjang kadang bisa melewati retrieval sepenuhnya. Pertimbangannya ada di konteks panjang vs RAG.
Kesalahan umum
- Mencampur vektor dari dua model embedding dalam satu indeks.
- Membuat embedding dari dokumen utuh, bukan chunk. Satu vektor untuk 50 halaman mengaburkan setiap topik di dalamnya.
- Menormalisasi dokumen tetapi tidak query, atau sebaliknya. Terapkan pembersihan teks yang sama pada keduanya.