---
title: "什么是 LoRA？大模型低秩适配微调详解 | BroadRouter"
description: "LoRA 在冻结的权重旁训练两个小的低秩矩阵来微调大模型。它的原理、参数量计算，以及为什么不会增加推理延迟。"
url: https://broadrouter.com/zh/glossary/lora/
lang: zh-Hans
updated: 2026-11-14
publisher: BroadRouter (a BroadNet site); API by BroadNet Inference, https://inference.broadnet.ai
---

本页由英文原文借助 AI 翻译。 [阅读英文原文](https://broadrouter.com/glossary/lora/) (2026-11-14 更新).

# LoRA（低秩适配）

更新于 2026-11-14

LoRA（低秩适配）是一种参数高效的微调方法：冻结预训练模型的权重，只为选定的层训练一对小的低秩矩阵。学到的更新可以存成一个小的适配器，也可以合并进权重，不会增加推理延迟。

又称： LoRA、LoRA 微调、低秩适配、低秩自适应、LoRA 适配器、参数高效微调、low-rank adaptation、LoRA adapter、LoRA fine-tuning

LoRA 不训练整个模型，只训练一个很小的修正量，让大模型在普通硬件上微调成为可能。

## 原理

Hu 等人观察到，微调对权重矩阵造成的变化往往是低秩的。所以 LoRA 冻结原始矩阵 W₀，把变化学成两个窄矩阵的乘积：

W = W₀ + BA，其中 B 为 d × r，A 为 r × k，且 r 远小于 d 或 k。

B 初始化为零，所以训练从未改动的模型开始。论文主要把 LoRA 应用在注意力的 query 和 value 投影上。

参数节省很容易算。以一个 4,096 × 4,096 的矩阵为例：

|  | 参数量 |
| --- | --- |
| 全量更新 | 4,096 × 4,096 = 16,777,216 |
| LoRA，r = 8 | 8 × (4,096 + 4,096) = 65,536 |

约为全量的 0.4%。在 GPT-3 175B 上，论文报告可训练参数减少到万分之一，GPU 显存减少为三分之一，检查点从约 350 GB 缩小到约 35 MB。

## 为什么重要

-   **训练更便宜。** 可训练权重越少，优化器状态占用的显存越少。再对冻结的基座模型做[量化](https://broadrouter.com/zh/glossary/quantization/)，更大的模型也能放进更小的 GPU。
-   **没有额外延迟。** Hugging Face 的 PEFT 指南指出，适配器可以用 `merge_and_unload()` 合并，所以部署成本与基座模型相同。
-   **一个基座，多个任务。** 因为基座保持冻结，你可以只保留一份[开放权重模型](https://broadrouter.com/zh/glossary/open-weight-model/)，按客户或任务切换小的适配器。
-   **局限。** LoRA 擅长改变行为和风格。但它仍然是[微调](https://broadrouter.com/zh/glossary/fine-tuning/)，需要好的数据和评测。

## 在 BroadNet Inference 上

BroadNet 的 [API 参考](https://inference.broadnet.ai/docs?utm_source=broadrouter&utm_medium=referral&utm_campaign=zh-glossary-lora&utm_content=body#models)没有介绍 LoRA、适配器上传或按请求选择适配器。你调用的是固定的模型 ID，例如 `broadnet/qwen3.8-27b`。私有端点和 BroadNet 的阿拉伯语微调模型可按需提供，但文档没有说明它们是如何训练的。如果你打算自己训练适配器，可以参考[自托管与 API 成本对比](https://broadrouter.com/zh/blog/self-hosting-llm-vs-api-cost/)一文，和 API 价格做比较；如果两者都用，[LiteLLM](https://broadrouter.com/zh/guides/litellm-proxy-custom-provider/) 这样的路由可以把流量发往任意一方。

## 常见问题

### LoRA 里的秩 r 是什么意思？

它是那两个小矩阵的内部维度。秩越低，可训练参数越少，适配器也越小。LoRA 论文报告，在 GPT-3 175B 上，低至 1 或 2 的秩效果也很好。

### LoRA 和全量微调效果一样好吗？

LoRA 论文报告，在 RoBERTa、DeBERTa、GPT-2 和 GPT-3 上，质量 "on-par or better than fine-tuning"（译文：与全量微调相当或更好），而可训练参数少得多。请在你自己的任务上测试。

### 可以把 LoRA 适配器上传到 BroadNet Inference 吗？

BroadNet 的文档没有介绍适配器上传。私有端点和 BroadNet 自己的微调模型可按需提供。

## 另请参阅

-   [微调（fine-tuning）](https://broadrouter.com/zh/glossary/fine-tuning/) (术语)
-   [量化（quantization）](https://broadrouter.com/zh/glossary/quantization/) (术语)
-   [开放权重模型（open-weight model）](https://broadrouter.com/zh/glossary/open-weight-model/) (术语)
-   [知识蒸馏（knowledge distillation）](https://broadrouter.com/zh/glossary/distillation/) (术语)
-   [用 LiteLLM 路由到 BroadNet Inference（SDK 与代理）](https://broadrouter.com/zh/guides/litellm-proxy-custom-provider/) (指南)
-   [自建部署大模型还是用 API：真实成本与盈亏平衡点](https://broadrouter.com/zh/blog/self-hosting-llm-vs-api-cost/) (文章)
-   [企业该选开放权重还是闭源大模型：成本、控制与风险](https://broadrouter.com/zh/blog/open-weight-vs-closed-models/) (文章)

用你的真实业务负载试一试。 新账户可获得 US$5 初始额度，用于 Gemma和转写。DeepSeek、GLM和Qwen3.8 需要先充值。

[开始使用](https://inference.broadnet.ai/account/?utm_source=broadrouter&utm_medium=referral&utm_campaign=zh-glossary-lora&utm_content=page-cta) ·

**来源**

-   [Hu 等（2021）：LoRA - Low-Rank Adaptation of Large Language Models](https://arxiv.org/abs/2106.09685)
-   [Hugging Face PEFT：LoRA 概念指南](https://huggingface.co/docs/peft/main/en/conceptual_guides/lora)
-   [BroadNet Inference API 参考：模型 ID （英文）](https://inference.broadnet.ai/docs?utm_source=broadrouter&utm_medium=referral&utm_campaign=zh-glossary-lora&utm_content=sources#models)
