---
title: "大模型需要微调吗？一份微调前的准备清单 | BroadRouter"
description: "什么时候提示词、RAG 或评测就能解决问题而无需微调，需要什么样的训练数据，以及在申请微调之前如何测试它。"
url: https://broadrouter.com/zh/blog/fine-tuning-readiness/
lang: zh-Hans
updated: 2026-11-15
publisher: BroadRouter (a BroadNet site); API by BroadNet Inference, https://inference.broadnet.ai
---

本页由英文原文借助 AI 翻译。[阅读英文原文](https://broadrouter.com/blog/fine-tuning-readiness/)（2026-11-16 更新）。

# 微调之前：先定义要解决的问题

BroadNet Inference 团队 · 阅读约 7 分钟 · 发布于 2026-11-15 · 更新于 2026-11-16

只有当评测表明某种失败反复出现，而更好的提示词、示例、检索和校验都没能解决时，才去微调。缺少知识通常需要检索，格式错误需要结构化输出和检查。在申请定制模型之前，先收集你有合法使用权的标注样本，留出测试集，并记录需要超越的基线分数。

## 要点

-   从评测集开始。没有基线分数，你就无法判断微调有没有帮助。
-   缺失或变化的事实是检索问题。微调教会行为和风格，比教会会变化的事实更可靠。
-   OpenAI 自己的指南把评测和提示词工程放在微调之前，并说提示词 "may be all you need"（译文：可能就是你所需要的全部）。
-   训练数据需要使用权、一致性，以及一个从不出现在训练中的留出测试集。一段简短的脚本就能发现重复、矛盾和泄漏。
-   BroadNet 的自助 API 没有微调端点。它的阿拉伯语微调模型按需提供，部署在私有端点上，使用私有模型 ID。

**本页内容**

1.  你要解决的是什么问题？
2.  怎样证明失败是反复出现的？
3.  应该先测试哪些更简单的改动？
4.  需要什么数据？你有权使用吗？
5.  怎样公平地评估一个微调模型？
6.  无法微调托管模型时，有什么不同？
7.  BroadNet Inference 的定位

模型出错时，微调往往是人们首先想到的办法，但也往往是错的那个。它要花在数据收集、标注、训练上，还会给你留下一个需要维护的模型。许多失败只要一条更清晰的提示词、检索到正确的文档，或在代码里检查一下输出，就会消失。本文讲的是如何判断你属于哪种情况，以及如果真的需要定制模型，要准备些什么。

## 你要解决的是什么问题？

先说出失败是什么，再说出解法是什么。大多数大模型失败可以归入几种模式，每种都有更便宜的第一步：

| 症状 | 先试试 | 微调有帮助的情况 |
| --- | --- | --- |
| 事实错误或过时 | 对你的文档做[检索（RAG）](https://broadrouter.com/zh/glossary/rag/) | 很少；会变化的事实无论如何都需要检索 |
| 格式错误、JSON 损坏 | [结构化输出](https://broadrouter.com/zh/glossary/structured-output/)、schema 检查、重试一次 | 格式不常见，提示词里的示例不够用 |
| 标签或类别不一致 | 清晰的定义和[少样本示例](https://broadrouter.com/zh/glossary/few-shot-prompting/) | 标签集很大或很微妙，示例放不进提示词 |
| 语气或风格不对 | 在[系统提示词](https://broadrouter.com/zh/glossary/system-prompt/)里写风格指南并附示例 | 内部风格必须在成千上万的输出中保持一致 |
| 领域词汇听错或拼错 | 在提示词中加入词汇表，在代码中做后期纠正 | 语音模型反复听错同样的名称、编码或数字 |
| 规模化后太慢或太贵 | 更小的模型、[提示词缓存](https://broadrouter.com/zh/blog/prompt-structure-for-caching/)、更短的提示词 | 小的微调模型能在窄任务上追平大模型 |
| 语言或方言不对 | 用正确的语言写指令；见[阿拉伯语提示词工程](https://broadrouter.com/zh/blog/arabic-prompt-engineering/) | 模型能理解，却不肯用你需要的方言写作 |

OpenAI 自己的指南描述的是同样的顺序：先写评测，再迭代提示词，部分用例再做微调。它说提示词工程的过程 “may be all you need in order to get great results”（译文：可能就是取得出色结果所需的全部）。它列出了微调相对于提示词的额外价值：比一条提示词能容纳的更多示例、节省 token 的更短提示词、用你不想在每次请求中发送的数据来训练，以及让一个更小的模型擅长某一项任务。

## 怎样证明失败是反复出现的？

用评测集。像[切换大模型前如何评估](https://broadrouter.com/zh/blog/evaluate-llm-before-switching/)中那样，收集 100 到 200 个带有已知正确输出的真实输入。给你当前的提示词打分。然后给每个失败标上简短的类别：`wrong_label`、`missing_field`、`dialect`、`hallucinated_fact` 等。

只有同时满足以下三点，一种模式才是微调的候选：

1.  **频繁。** 它占失败中相当的比例，而不是一两个奇怪的个例。
2.  **便宜的修法都没能消除它。** 你试过更清晰的指令、示例、检索和校验，这一类仍然存在。
3.  **一致。** 大家对正确答案意见一致。如果你自己的两位复核人员对同一个案例标得不一样，用他们的标签训练出来的模型就会学到这种分歧。

把结果写成一句简短的陈述，比如这个虚构的例子：“在我们 200 个案例的阿拉伯语客服集上，最好的提示词把 18% 的账单工单错标为配送；少样本示例把它降到了 15%。” 这句话就是微调的需求说明，也是需要超越的数字。

## 应该先测试哪些更简单的改动？

按成本从低到高依次进行，每做一步就重新打分：

1.  **指令。** 给每个标签或字段下定义。说明不确定时该怎么做。
2.  **示例。** 加入三到十个真实示例，包括难的案例。
3.  **检索。** 如果回答需要事实，就检索相关段落。[阿拉伯语 RAG 搜索](https://broadrouter.com/zh/blog/arabic-rag-search/)和[长上下文与 RAG](https://broadrouter.com/zh/blog/long-context-vs-rag/)介绍了各种选择。
4.  **约束。** 在模型支持的地方使用结构化输出，并在代码里检查输出。带上错误信息重新请求一次。
5.  **换一个模型。** 另一个基座模型可能已经能满足你的需要。用同一个评测集，一个小时就能知道。

每一步花的是几个小时，而不是几周，而且每一步都会给你留下一个更好的基线；如果仍然需要微调，它就是微调要超越的对象。

## 需要什么数据？你有权使用吗？

在看质量之前，先查权利。训练数据通常来自客户对话、文档或通话录音。你需要合法依据，而且往往需要用户同意或覆盖训练用途的合同条款。检查你自己的隐私声明和客户合同，删除不需要的个人数据。不要以为 API 服务商在替你收集：例如 BroadNet 的隐私声明说，它不保留推理内容，也不使用推理数据训练、微调或评估模型。

然后检查质量。下面这个脚本读取一个训练文件和一个评测文件，格式是常见的对话 JSONL（每行一个 `{"messages": [...]}`，以助手的回答结尾），报告那些会悄悄毁掉微调的问题：损坏的行、重复、相同输入对应不同答案、泄漏进训练集的评测项、标签分布，以及可能的个人数据。

```python
import json, re, sys
from collections import Counter

DIAC = re.compile(r"[ً-ٰٟـ]")          # tashkeel, dagger alef, tatweel
PII = {"email": re.compile(r"[\w.+-]+@[\w-]+\.[\w.]+"),
       "phone": re.compile(r"(?:\+|00)\d[\d\s-]{7,}\d")}

def norm(s: str) -> str:
    s = DIAC.sub("", s.lower())
    s = re.sub("[إأآٱ]", "ا", s).replace("ى", "ي")
    return " ".join(s.split())

def load(path):
    rows, errors = [], []
    for i, line in enumerate(open(path, encoding="utf-8"), 1):
        try:
            ex = json.loads(line)
            roles = [m["role"] for m in ex["messages"]]
            if roles[-1] != "assistant" or "user" not in roles:
                raise ValueError(f"roles {roles}")
            rows.append(ex)
        except (ValueError, KeyError, IndexError, TypeError) as e:
            errors.append(f"line {i}: {e}")
    return rows, errors

def key(ex):     # the input side, normalised: what the model sees
    return norm(" ".join(m["content"] for m in ex["messages"] if m["role"] != "assistant"))

def check(train_path, eval_path):
    train, errs = load(train_path)
    evals, eval_errs = load(eval_path)
    keys = Counter(key(e) for e in train)
    labels = Counter(e["messages"][-1]["content"].strip() for e in train)
    leaked = {key(e) for e in evals} & set(keys)
    pii = Counter(k for e in train for m in e["messages"] for k, rx in PII.items() if rx.search(m["content"]))
    conflicts = Counter()
    seen = {}
    for e in train:
        k, a = key(e), e["messages"][-1]["content"].strip()
        if k in seen and seen[k] != a:
            conflicts[k] += 1
        seen.setdefault(k, a)
    return {"train_examples": len(train), "parse_errors": errs + eval_errs,
            "duplicate_inputs": sum(n - 1 for n in keys.values() if n > 1),
            "same_input_different_answer": len(conflicts),
            "eval_items_also_in_train": len(leaked),
            "answer_distribution": labels.most_common(5),
            "examples_with_possible_pii": dict(pii)}

if __name__ == "__main__":
    print(json.dumps(check(sys.argv[1], sys.argv[2]), ensure_ascii=False, indent=1))
```

我们在一个七行的玩具文件上运行了它，内容是阿拉伯语、英语和西班牙语的客服工单。它发现了一行没有助手回答、两个重复输入（其中一个只差一个变音符号，规范化会去掉它，见[阿拉伯语文本规范化](https://broadrouter.com/zh/blog/arabic-text-normalization-search/)）、一个同时被标为 `billing` 和 `other` 的输入、一个也出现在训练集中的评测项，以及一个电话号码。其中每一项都会让微调看起来比实际更好或更差。

规范化对阿拉伯语很重要。没有它，“متأخر” 和 “متأخِّر” 会被当成不同的输入，测试项的近似副本就可能混进训练集。

## 怎样公平地评估一个微调模型？

使用与基线相同的留出测试集，并且不让它进入训练。然后比较：

-   **与最好的提示词比，而不是第一版。** 一个微调模型打败了一条弱提示词，什么也证明不了。
-   **按类别、按语言比。** 总体提升可能掩盖了阿拉伯语的下降，而英语在变好。每一项都要报告。
-   **比通用表现。** 加入 20 到 50 个模型之前处理得很好的普通请求。窄范围的训练可能会让任务之外的表现变差。
-   **比成本和延迟。** 微调的理由往往是让一个更小的模型完成工作。也要测量每个请求的 token 数和耗时。

在看到数字之前就确定通过标准，就像评测那篇文章里说的：例如，“账单标签至少提高 5 个百分点，没有任何类别下降超过 2 个百分点，阿拉伯语和英语都要通过。”

## 无法微调托管模型时，有什么不同？

提供自助微调的托管 API 比你想象的要少。OpenAI 的弃用页面记录了其自助微调平台的一项更新：自 2026 年 5 月 7 日起，此前没有运行过微调的组织不能再创建任务；自 2026 年 7 月 2 日起，过去 60 天内没有在微调模型上运行过推理的组织也不能再创建任务；自 2027 年 1 月 6 日起，现有的活跃客户也不能再创建新的微调任务。已有的微调模型在其基座模型弃用之前仍可用于推理。

常见的替代方案是用 [LoRA](https://broadrouter.com/zh/glossary/lora/) 这样的参数高效方法训练一个[开放权重模型](https://broadrouter.com/zh/glossary/open-weight-model/)。LoRA 论文（Hu 等）报告，与用 Adam 对 GPT-3 175B 做全量微调相比，LoRA 可以把可训练参数减少 10,000 倍，把 GPU 显存需求减少 3 倍。之后你还需要一个地方来部署结果，要么是你自己的硬件，要么是能托管自定义权重的服务商。[开放权重模型与闭源模型](https://broadrouter.com/zh/blog/open-weight-vs-closed-models/)讨论了这种取舍。

## BroadNet Inference 的定位

BroadRouter 是 BroadNet 自己的网站。BroadNet Inference 的自助 API 没有微调端点：它的 [API 参考](https://inference.broadnet.ai/docs?utm_source=broadrouter&utm_medium=referral&utm_campaign=zh-blog-fine-tuning-readiness&utm_content=body)只记载了 chat completions 和音频转写。同一页面写道：“private endpoints, our Arabic fine-tunes and other models on request are reached with a private ID issued with the endpoint.”（译文：私有端点、我们的阿拉伯语微调模型以及其他按需提供的模型，通过随端点发放的私有 ID 访问。）BroadNet 的模型页面把一个针对嘈杂音频中的数字、日期和姓名做过微调的 BroadNet 版 Cohere Transcribe Arabic 列为按需提供，每位客户一个私有模型 ID，并说 Gemma 4 VL 26B 可以部署在私有端点上，“including our Arabic fine-tunes”（译文：包括我们的阿拉伯语微调模型）。这些都需要通过[联系页面](https://broadrouter.com/zh/contact/#private)咨询，而不是你可以自行购买或训练的；要发送哪些信息，见[规划私有端点](https://broadrouter.com/zh/blog/private-endpoint-planning/)。

在那一步之前的所有工作，公开模型就足以建立你的评测集和基线：[Qwen3.8 27B](https://broadrouter.com/zh/models/qwen3.8-27b/) 和 [GLM 5.3](https://broadrouter.com/zh/models/glm-5.3/) 的文档记载了结构化输出，[Gemma 4 VL 26B](https://broadrouter.com/zh/models/gemma-4-vl-26b/) 可以使用 $5 初始额度，[BroadNet Transcribe Arabic](https://broadrouter.com/zh/models/cohere-transcribe-arabic/) 以每分钟 $0.0042 处理语音。推理内容不会被保留；必要的账户、计费和安全元数据按 BroadNet 隐私声明所述保留。

相关免费工具（英文）

-   [OpenAI to BroadNet migration helper](https://broadrouter.com/tools/openai-to-broadnet-migration/) Paste OpenAI SDK code; get base URL, key and model edits, a diff and the checks that remain.
-   [max\_tokens calculator for reasoning models](https://broadrouter.com/tools/reasoning-token-budget/) Answer length + reasoning budget + margin = a max\_tokens that does not cut the answer off.
-   [JSON schema generator for LLM structured output](https://broadrouter.com/tools/json-schema-generator/) Sample JSON to strict schema, Pydantic, Zod and a ready request.
-   [LLM JSON output validator](https://broadrouter.com/tools/llm-json-output-validator/) Parse errors by line and column, safe repairs, cut-off detection and JSON Schema checks for model output.

[免费工具（英文）](https://broadrouter.com/tools/)

## 本文涉及的术语

[LoRA（低秩适配）](https://broadrouter.com/zh/glossary/lora/)

LoRA（低秩适配）是一种参数高效的微调方法：冻结预训练模型的权重，只为选定的层训练一对小的低秩矩阵。学到的更新可以存成一个小的适配器，也可以合并进权重，不会增加推理延迟。

[结构化输出（structured output）](https://broadrouter.com/zh/glossary/structured-output/)

结构化输出是大模型 API 的一项功能，它把模型的回复约束为开发者指定的格式（通常是 JSON Schema），让代码能可靠地解析。它比 JSON mode 更严格：JSON mode 只保证输出是合法 JSON，不保证特定结构。

[评测（eval，LLM evaluation）](https://broadrouter.com/zh/glossary/eval/)

评测（eval，evaluation 的简称）是对语言模型或提示词的可重复测试：一组固定的输入、对好输出的描述，以及给每个输出打分的评分器（代码、人工或另一个模型），以便比较不同版本。

[Token（词元）](https://broadrouter.com/zh/glossary/token/)

token（词元）是大语言模型读写文本的基本单位：由模型的分词器切分出的一个词、词的一部分、一个标点或一段字节序列。大模型 API 按 token 计数、设定限制，通常也按 token 计费。

[个人身份信息（PII）](https://broadrouter.com/zh/glossary/pii/)

个人身份信息（PII）是可用于区分或追溯个人身份的信息，例如姓名、身份证号或生物特征记录，以及与该人关联或可关联的其他信息。GDPR 用的是更宽泛的“个人数据”。在大模型应用中，PII 脱敏会在提示词离开你的系统之前将其移除。

[开放权重模型（open-weight model）](https://broadrouter.com/zh/glossary/open-weight-model/)

开放权重模型是公开发布训练好的权重、任何人都可以下载和运行的机器学习模型，通常附带有条件的许可证。它不同于完全开源的 AI，后者还会公开训练代码和训练数据的详细信息，让其他人能够研究并复现模型。

[少样本提示（few-shot prompting）](https://broadrouter.com/zh/glossary/few-shot-prompting/)

少样本提示是一种在真实输入之前，先在提示词中放入少量“输入—输出”示例的技巧，让语言模型从中推断任务和格式。模型权重不会改变；零样本不用示例，单样本只用一个。

[阿拉伯语变音符号（tashkeel）](https://broadrouter.com/zh/glossary/arabic-diacritics/)

阿拉伯语变音符号（tashkeel）是写在字母上方或下方的小符号，用来标示短元音、辅音重叠和无元音。它们是可选的：包括新闻在内，大多数阿拉伯语文本都省略它们，读者和软件需要根据上下文推断元音。

## 常见问题

### 该用微调还是 RAG？

模型缺少事实时用检索，尤其是会变化的事实：文档、价格、政策。当模型掌握了信息、却以一致的方式表现不对（比如格式、语气、标签或领域词汇），而带示例的提示词也没能解决时，再考虑微调。

### 怎么知道提示词工程够不够？

去测量。用真实输入建一个评测集，给当前提示词打分，然后尝试更清晰的指令、少样本示例、结构化输出和校验。如果分数达到目标，就到此为止。如果某一类失败在这些改动后依然存在，它就是微调的候选。

### 微调需要多少数据？

没有通用的数字。它取决于任务、基座模型和方法。收集足够多、标注一致、覆盖你关心的所有情况的样本，外加一个单独的留出测试集，并检查随着数据增加分数是否仍在上升。

### 可以在 BroadNet Inference 上微调模型吗？

不能自助微调。BroadNet 的 API 参考记载了 chat completions 和音频转写，没有训练端点。BroadNet 把阿拉伯语微调模型（例如调优过的 Cohere Transcribe Arabic）列为按需提供的模型，部署在私有端点上，使用私有模型 ID。

### BroadNet 会用我的 API 流量训练模型吗？

BroadNet 的隐私声明说，它不使用推理数据训练、微调或评估模型，也不保留推理内容。如果你想用自己的流量做微调，就必须自己收集和保存这些数据，并拥有使用权。

## 继续阅读

-   [切换服务商之前，如何评估大模型](https://broadrouter.com/zh/blog/evaluate-llm-before-switching/)
-   [阿拉伯语提示词工程：语体、RTL、数字与中英混排](https://broadrouter.com/zh/blog/arabic-prompt-engineering/)
-   [阿拉伯语 RAG：真正有效的规范化、分块与检索](https://broadrouter.com/zh/blog/arabic-rag-search/)
-   [长上下文还是 RAG：百万 token 什么时候能取代向量数据库](https://broadrouter.com/zh/blog/long-context-vs-rag/)
-   [JSON 模式与 json\_schema：靠得住的结构化输出](https://broadrouter.com/zh/blog/structured-output-json-schema/)
-   [企业该选开放权重还是闭源大模型：成本、控制与风险](https://broadrouter.com/zh/blog/open-weight-vs-closed-models/)
-   [申请私有端点，先把工作负载说清楚](https://broadrouter.com/zh/blog/private-endpoint-planning/)
-   [BroadNet 的 GPU 硬件与推理部署方式（据 BroadNet 自述）](https://broadrouter.com/zh/blog/broadnet-gpu-fleet-and-serving/)
-   [缓存大模型 API 响应以降低成本：用 Python 实现精确匹配缓存](https://broadrouter.com/zh/blog/cache-llm-responses-cut-cost/)
-   [指南：阿拉伯语语音转文字 API 分步教程](https://broadrouter.com/zh/guides/arabic-speech-to-text-api/)
-   [指南：用 OpenAI Python SDK 调用 BroadNet Inference](https://broadrouter.com/zh/guides/openai-python-sdk/)

用你的真实业务负载试一试。新账户可获得 US$5 初始额度，用于 Gemma和转写。DeepSeek、GLM和Qwen3.8 需要先充值。

[开始使用](https://inference.broadnet.ai/account/?utm_source=broadrouter&utm_medium=referral&utm_campaign=zh-blog-fine-tuning-readiness&utm_content=page-cta) ·

**来源**

-   [OpenAI 模型优化指南：评测、提示词工程与微调（2026-11-15 查阅）](https://platform.openai.com/docs/guides/fine-tuning)
-   [OpenAI 弃用说明：自助微调的更新，日期为 2026 年 5 月 7 日、2026 年 7 月 2 日和 2027 年 1 月 6 日（2026-11-15 查阅）](https://platform.openai.com/docs/deprecations)
-   [Hu 等，LoRA: Low-Rank Adaptation of Large Language Models，arXiv 2106.09685（2026-11-15 查阅）](https://arxiv.org/abs/2106.09685)
-   [BroadNet Inference API 参考：端点，以及通过私有 ID 访问的 “our Arabic fine-tunes”（2026-11-15 查阅）（英文）](https://inference.broadnet.ai/docs?utm_source=broadrouter&utm_medium=referral&utm_campaign=zh-blog-fine-tuning-readiness&utm_content=sources)
-   [BroadNet 模型页，Cohere Transcribe Arabic BroadNet 微调版：按需提供，每位客户一个私有 ID（2026-11-15 查阅）（英文）](https://www.broadnet.ai/inference/models/cohere-transcribe-arabic-broadnet)
-   [BroadNet 模型页，Gemma 4 VL 26B：私有端点 “including our Arabic fine-tunes”（2026-11-15 查阅）（英文）](https://www.broadnet.ai/inference/models/gemma-4-vl-26b)
-   [BroadNet Inference 隐私声明：推理数据不用于训练、微调或评估模型（2026-11-15 查阅）（英文）](https://www.broadnet.ai/inference-privacy)
