LoRA 不训练整个模型,只训练一个很小的修正量,让大模型在普通硬件上微调成为可能。
原理
Hu 等人观察到,微调对权重矩阵造成的变化往往是低秩的。所以 LoRA 冻结原始矩阵 W₀,把变化学成两个窄矩阵的乘积:
W = W₀ + BA,其中 B 为 d × r,A 为 r × k,且 r 远小于 d 或 k。
B 初始化为零,所以训练从未改动的模型开始。论文主要把 LoRA 应用在注意力的 query 和 value 投影上。
参数节省很容易算。以一个 4,096 × 4,096 的矩阵为例:
| 参数量 | |
|---|---|
| 全量更新 | 4,096 × 4,096 = 16,777,216 |
| LoRA,r = 8 | 8 × (4,096 + 4,096) = 65,536 |
约为全量的 0.4%。在 GPT-3 175B 上,论文报告可训练参数减少到万分之一,GPU 显存减少为三分之一,检查点从约 350 GB 缩小到约 35 MB。
为什么重要
- 训练更便宜。 可训练权重越少,优化器状态占用的显存越少。再对冻结的基座模型做量化,更大的模型也能放进更小的 GPU。
- 没有额外延迟。 Hugging Face 的 PEFT 指南指出,适配器可以用
merge_and_unload()合并,所以部署成本与基座模型相同。 - 一个基座,多个任务。 因为基座保持冻结,你可以只保留一份开放权重模型,按客户或任务切换小的适配器。
- 局限。 LoRA 擅长改变行为和风格。但它仍然是微调,需要好的数据和评测。
在 BroadNet Inference 上
BroadNet 的 API 参考没有介绍 LoRA、适配器上传或按请求选择适配器。你调用的是固定的模型 ID,例如 broadnet/qwen3.8-27b。私有端点和 BroadNet 的阿拉伯语微调模型可按需提供,但文档没有说明它们是如何训练的。如果你打算自己训练适配器,可以参考自托管与 API 成本对比一文,和 API 价格做比较;如果两者都用,LiteLLM 这样的路由可以把流量发往任意一方。