Ang embedding ang paraan ng computer para sukatin ang kahulugan: dalawang text na magkatulad ang sinasabi ay nagkakaroon ng dalawang vector na nakaturo sa magkatulad na direksyon.
Paano ito gumagana
Nagpapadala ka ng text sa isang embedding model at isang vector na fixed ang haba ang ibinabalik nito. Diretsahang sinasabi ng gabay ng OpenAI: “An embedding is a vector (list) of floating point numbers.” (Salin ng BroadRouter: “Ang embedding ay isang vector (listahan) ng mga floating point na numero.”) Fixed ang haba nito bawat model. Ang text-embedding-3-small ng OpenAI ay naglalabas ng 1,536 na numero bilang default, at ang text-embedding-3-large ay 3,072.
Para ikumpara ang dalawang text, ikinukumpara mo ang mga vector nila. Cosine similarity ang inirerekomenda ng OpenAI. Naka-normalise sa haba na 1 ang mga vector nito, kaya parehong ranking ang ibinibigay ng simpleng dot product. Ang pagkumpara ng isang query vector sa milyun-milyong naka-store na vector ang puso ng semantic search. Trabaho naman ng isang vector database na gawin iyon nang mabilis sa malakihang scale.
Ibang klase ng model ang mga embedding model kumpara sa mga chat model. Binabasa nila ang buong input at mga numero ang ibinabalik; hindi sila bumubuo ng text. Sinisingil sila kada input token, at walang output text na babayaran.
Bakit ito mahalaga
- Retrieval. Ang embeddings ang karaniwang unang hakbang ng retrieval-augmented generation: i-embed nang isang beses ang mga dokumento mo, i-embed ang bawat tanong, kunin ang pinakamalapit na mga chunk at ipasa sa chat model.
- Nag-iiba ang resulta depende sa model. Sinubok ng MTEB benchmark ang 33 model sa 8 uri ng task, 58 dataset at 112 wika, at nakitang “no particular text embedding method dominates across all tasks.” (Salin ng BroadRouter: “walang iisang text embedding method na nangingibabaw sa lahat ng task.”) Mag-test sa sarili mong mga query, lalo na para sa Arabic o halo-halong wika.
- Lock-in. Hindi maikukumpara ang mga vector mula sa isang model sa mga vector mula sa iba. Kapag lumipat ng embedding model, kailangang i-embed ulit ang buong corpus.
Sa BroadNet Inference
Nakalista sa docs ng BroadNet ang /v1/chat/completions, /v1/audio/transcriptions at GET /v1/models (listahan ng mga model). Walang embeddings endpoint. Para sa search o RAG system, ipares ang hiwalay na embedding model (isang hosted API o open model na ikaw mismo ang nagpapatakbo) sa isang chat model ng BroadNet para sa sagot. Ipinapakita ng Arabic RAG guide ang ganitong hatian gamit ang isang multilingual na embedding model.
Kung kasya ang mga dokumento mo, minsan puwede nang laktawan nang buo ang retrieval gamit ang mahabang context window. Nasa long context vs RAG ang mga trade-off.
Mga karaniwang pagkakamali
- Paghahalo ng mga vector mula sa dalawang embedding model sa iisang index.
- Pag-embed ng buong dokumento sa halip na mga chunk. Pinalalabo ng iisang vector para sa 50 pahina ang bawat paksa roon.
- Pag-normalise ng mga dokumento pero hindi ng mga query, o ang kabaligtaran. Gamitin ang parehong paglilinis ng text sa dalawa.