BroadRouter
Mulai

Embeddings (vektor embedding)

Diperbarui

Embeddings adalah daftar angka floating-point (vektor) yang dihasilkan model untuk merepresentasikan sepotong teks, gambar, atau input lain. Input dengan makna serupa mendapat vektor yang berdekatan, sehingga jarak antarvektor bisa dipakai untuk mengurutkan hasil pencarian, mengelompokkan dokumen, atau menemukan item terkait.

Disebut juga: embeddings, embedding, apa itu embedding, vektor embedding, embedding teks, model embedding, text embeddings, vector embeddings, embedding vectors, embedding model, sentence embeddings

Embedding adalah cara komputer mengukur makna: dua teks yang mengatakan hal serupa mendapat dua vektor yang menunjuk ke arah yang mirip.

Cara kerjanya

Anda mengirim teks ke model embedding dan menerima satu vektor dengan panjang tetap. Panduan OpenAI menyatakannya dengan lugas: “An embedding is a vector (list) of floating point numbers.” (terjemahan: Embedding adalah vektor, atau daftar, berisi angka floating-point.) Panjangnya tetap untuk setiap model. text-embedding-3-small dari OpenAI mengembalikan 1.536 angka secara default dan text-embedding-3-large mengembalikan 3.072.

Untuk membandingkan dua teks, Anda membandingkan vektornya. OpenAI menyarankan cosine similarity. Vektor OpenAI dinormalisasi ke panjang 1, jadi dot product biasa memberi urutan yang sama. Membandingkan vektor query dengan jutaan vektor tersimpan adalah inti pencarian semantik. Melakukannya dengan cepat dalam skala besar adalah tugas vector database.

Model embedding berbeda jenis dari model chat. Model ini membaca satu input utuh dan mengembalikan angka; tidak menghasilkan teks. Model embedding ditagih per token input, dan tidak ada teks output yang perlu dibayar.

Kenapa ini penting

  • Retrieval. Embeddings biasanya menjadi langkah pertama retrieval-augmented generation: buat embedding dokumen Anda sekali, buat embedding setiap pertanyaan, ambil chunk terdekat, lalu berikan ke model chat.
  • Pilihan model mengubah hasil. Benchmark MTEB menguji 33 model pada 8 jenis tugas, 58 dataset, dan 112 bahasa, dan menemukan bahwa “no particular text embedding method dominates across all tasks” (terjemahan: tidak ada satu metode text embedding yang unggul di semua tugas). Uji dengan query Anda sendiri, terutama untuk teks bahasa Arab atau campuran bahasa.
  • Lock-in. Vektor dari satu model tidak bisa dibandingkan dengan vektor dari model lain. Mengganti model embedding berarti membuat ulang embedding seluruh korpus.

Di BroadNet Inference

Dokumentasi BroadNet mencantumkan /v1/chat/completions, /v1/audio/transcriptions, dan GET /v1/models (daftar model). Tidak ada endpoint embeddings. Untuk sistem pencarian atau RAG, pasangkan model embedding terpisah (API yang di-host atau model terbuka yang Anda jalankan sendiri) dengan model chat BroadNet untuk jawabannya. Panduan RAG bahasa Arab menunjukkan pembagian ini dengan model embedding multibahasa.

Jika dokumen Anda muat, context window yang panjang kadang bisa melewati retrieval sepenuhnya. Pertimbangannya ada di konteks panjang vs RAG.

Kesalahan umum

  • Mencampur vektor dari dua model embedding dalam satu indeks.
  • Membuat embedding dari dokumen utuh, bukan chunk. Satu vektor untuk 50 halaman mengaburkan setiap topik di dalamnya.
  • Menormalisasi dokumen tetapi tidak query, atau sebaliknya. Terapkan pembersihan teks yang sama pada keduanya.

Pertanyaan umum

Apakah embeddings sama dengan token?

Tidak. Token adalah potongan teks yang dibaca model. Embedding adalah vektor yang dihasilkan model embedding untuk satu input utuh, seperti kalimat atau paragraf.

Berapa dimensi sebuah embedding?

Tergantung modelnya. text-embedding-3-small dari OpenAI mengembalikan 1.536 angka secara default dan text-embedding-3-large mengembalikan 3.072, dan keduanya bisa dipersingkat dengan parameter dimensions.

Apakah BroadNet Inference punya endpoint embeddings?

Tidak. Dokumentasi BroadNet hanya mencantumkan /v1/chat/completions dan /v1/audio/transcriptions. Gunakan model embedding terpisah untuk retrieval dan BroadNet untuk tahap generasi.

Baca sebagai MarkdownTanya ChatGPTTanya ClaudeTanya Perplexity