嵌入向量是计算机衡量”意思”的方式:两段意思相近的文本,会得到两个指向相近方向的向量。
工作原理
你把文本发给嵌入模型,得到一个固定长度的向量。OpenAI 的指南说得很直白:“An embedding is a vector (list) of floating point numbers.”(译文:嵌入是一个由浮点数组成的向量(列表)。)长度由模型决定。OpenAI 的 text-embedding-3-small 默认返回 1,536 个数,text-embedding-3-large 返回 3,072 个。
要比较两段文本,就比较它们的向量。OpenAI 推荐使用余弦相似度。它的向量已归一化为长度 1,所以直接做点积得到的排序是一样的。把一个查询向量与数百万个已存储的向量比较,就是语义搜索的核心。要在大规模下快速完成这件事,就需要向量数据库。
嵌入模型和对话模型是两类不同的模型。它读取整段输入并返回数字,不生成文本。它按输入 token 计费,没有需要付费的输出文本。
为什么重要
- 检索。 嵌入向量通常是检索增强生成的第一步:文档嵌入一次,每个问题再嵌入一次,取出最接近的文本块交给对话模型。
- 选哪个模型会影响结果。 MTEB 基准在 8 类任务、58 个数据集和 112 种语言上测试了 33 个模型,发现 “no particular text embedding method dominates across all tasks.”(译文:没有哪一种文本嵌入方法能在所有任务上占优。)请用你自己的查询来测试,尤其是阿拉伯语或多语言混合的文本。
- 锁定。 不同模型生成的向量无法互相比较。更换嵌入模型就意味着把整个语料重新嵌入一遍。
在 BroadNet Inference 上
BroadNet 的文档列出了 /v1/chat/completions、/v1/audio/transcriptions 和 GET /v1/models(模型列表),没有嵌入向量端点。要搭建搜索或 RAG 系统,请把单独的嵌入模型(托管 API 或你自己运行的开源模型)与负责回答的 BroadNet 对话模型搭配使用。阿拉伯语 RAG 指南展示了用多语言嵌入模型实现的这种分工。
如果文档装得下,长上下文窗口有时可以完全省去检索。其中的取舍见长上下文与 RAG 对比。
常见错误
- 在同一个索引里混用两个嵌入模型的向量。
- 嵌入整篇文档而不是文本块。50 页内容只用一个向量,会把其中每个主题都模糊掉。
- 只规范化文档而不规范化查询,或者反过来。两者要使用相同的文本清洗方式。