BroadRouter
开始使用

LoRA(低秩适配)

更新于

LoRA(低秩适配)是一种参数高效的微调方法:冻结预训练模型的权重,只为选定的层训练一对小的低秩矩阵。学到的更新可以存成一个小的适配器,也可以合并进权重,不会增加推理延迟。

又称: LoRA、LoRA 微调、低秩适配、低秩自适应、LoRA 适配器、参数高效微调、low-rank adaptation、LoRA adapter、LoRA fine-tuning

LoRA 不训练整个模型,只训练一个很小的修正量,让大模型在普通硬件上微调成为可能。

原理

Hu 等人观察到,微调对权重矩阵造成的变化往往是低秩的。所以 LoRA 冻结原始矩阵 W₀,把变化学成两个窄矩阵的乘积:

W = W₀ + BA,其中 B 为 d × r,A 为 r × k,且 r 远小于 d 或 k。

B 初始化为零,所以训练从未改动的模型开始。论文主要把 LoRA 应用在注意力的 query 和 value 投影上。

参数节省很容易算。以一个 4,096 × 4,096 的矩阵为例:

参数量
全量更新 4,096 × 4,096 = 16,777,216
LoRA,r = 8 8 × (4,096 + 4,096) = 65,536

约为全量的 0.4%。在 GPT-3 175B 上,论文报告可训练参数减少到万分之一,GPU 显存减少为三分之一,检查点从约 350 GB 缩小到约 35 MB。

为什么重要

  • 训练更便宜。 可训练权重越少,优化器状态占用的显存越少。再对冻结的基座模型做量化,更大的模型也能放进更小的 GPU。
  • 没有额外延迟。 Hugging Face 的 PEFT 指南指出,适配器可以用 merge_and_unload() 合并,所以部署成本与基座模型相同。
  • 一个基座,多个任务。 因为基座保持冻结,你可以只保留一份开放权重模型,按客户或任务切换小的适配器。
  • 局限。 LoRA 擅长改变行为和风格。但它仍然是微调,需要好的数据和评测。

在 BroadNet Inference 上

BroadNet 的 API 参考没有介绍 LoRA、适配器上传或按请求选择适配器。你调用的是固定的模型 ID,例如 broadnet/qwen3.8-27b。私有端点和 BroadNet 的阿拉伯语微调模型可按需提供,但文档没有说明它们是如何训练的。如果你打算自己训练适配器,可以参考自托管与 API 成本对比一文,和 API 价格做比较;如果两者都用,LiteLLM 这样的路由可以把流量发往任意一方。

常见问题

LoRA 里的秩 r 是什么意思?

它是那两个小矩阵的内部维度。秩越低,可训练参数越少,适配器也越小。LoRA 论文报告,在 GPT-3 175B 上,低至 1 或 2 的秩效果也很好。

LoRA 和全量微调效果一样好吗?

LoRA 论文报告,在 RoBERTa、DeBERTa、GPT-2 和 GPT-3 上,质量 "on-par or better than fine-tuning"(译文:与全量微调相当或更好),而可训练参数少得多。请在你自己的任务上测试。

可以把 LoRA 适配器上传到 BroadNet Inference 吗?

BroadNet 的文档没有介绍适配器上传。私有端点和 BroadNet 自己的微调模型可按需提供。

以 Markdown 格式阅读问 ChatGPT问 Claude问 Perplexity