模型出错时,微调往往是人们首先想到的办法,但也往往是错的那个。它要花在数据收集、标注、训练上,还会给你留下一个需要维护的模型。许多失败只要一条更清晰的提示词、检索到正确的文档,或在代码里检查一下输出,就会消失。本文讲的是如何判断你属于哪种情况,以及如果真的需要定制模型,要准备些什么。
你要解决的是什么问题?
先说出失败是什么,再说出解法是什么。大多数大模型失败可以归入几种模式,每种都有更便宜的第一步:
| 症状 | 先试试 | 微调有帮助的情况 |
|---|---|---|
| 事实错误或过时 | 对你的文档做检索(RAG) | 很少;会变化的事实无论如何都需要检索 |
| 格式错误、JSON 损坏 | 结构化输出、schema 检查、重试一次 | 格式不常见,提示词里的示例不够用 |
| 标签或类别不一致 | 清晰的定义和少样本示例 | 标签集很大或很微妙,示例放不进提示词 |
| 语气或风格不对 | 在系统提示词里写风格指南并附示例 | 内部风格必须在成千上万的输出中保持一致 |
| 领域词汇听错或拼错 | 在提示词中加入词汇表,在代码中做后期纠正 | 语音模型反复听错同样的名称、编码或数字 |
| 规模化后太慢或太贵 | 更小的模型、提示词缓存、更短的提示词 | 小的微调模型能在窄任务上追平大模型 |
| 语言或方言不对 | 用正确的语言写指令;见阿拉伯语提示词工程 | 模型能理解,却不肯用你需要的方言写作 |
OpenAI 自己的指南描述的是同样的顺序:先写评测,再迭代提示词,部分用例再做微调。它说提示词工程的过程 “may be all you need in order to get great results”(译文:可能就是取得出色结果所需的全部)。它列出了微调相对于提示词的额外价值:比一条提示词能容纳的更多示例、节省 token 的更短提示词、用你不想在每次请求中发送的数据来训练,以及让一个更小的模型擅长某一项任务。
怎样证明失败是反复出现的?
用评测集。像切换大模型前如何评估中那样,收集 100 到 200 个带有已知正确输出的真实输入。给你当前的提示词打分。然后给每个失败标上简短的类别:wrong_label、missing_field、dialect、hallucinated_fact 等。
只有同时满足以下三点,一种模式才是微调的候选:
- 频繁。 它占失败中相当的比例,而不是一两个奇怪的个例。
- 便宜的修法都没能消除它。 你试过更清晰的指令、示例、检索和校验,这一类仍然存在。
- 一致。 大家对正确答案意见一致。如果你自己的两位复核人员对同一个案例标得不一样,用他们的标签训练出来的模型就会学到这种分歧。
把结果写成一句简短的陈述,比如这个虚构的例子:“在我们 200 个案例的阿拉伯语客服集上,最好的提示词把 18% 的账单工单错标为配送;少样本示例把它降到了 15%。” 这句话就是微调的需求说明,也是需要超越的数字。
应该先测试哪些更简单的改动?
按成本从低到高依次进行,每做一步就重新打分:
- 指令。 给每个标签或字段下定义。说明不确定时该怎么做。
- 示例。 加入三到十个真实示例,包括难的案例。
- 检索。 如果回答需要事实,就检索相关段落。阿拉伯语 RAG 搜索和长上下文与 RAG介绍了各种选择。
- 约束。 在模型支持的地方使用结构化输出,并在代码里检查输出。带上错误信息重新请求一次。
- 换一个模型。 另一个基座模型可能已经能满足你的需要。用同一个评测集,一个小时就能知道。
每一步花的是几个小时,而不是几周,而且每一步都会给你留下一个更好的基线;如果仍然需要微调,它就是微调要超越的对象。
需要什么数据?你有权使用吗?
在看质量之前,先查权利。训练数据通常来自客户对话、文档或通话录音。你需要合法依据,而且往往需要用户同意或覆盖训练用途的合同条款。检查你自己的隐私声明和客户合同,删除不需要的个人数据。不要以为 API 服务商在替你收集:例如 BroadNet 的隐私声明说,它不保留推理内容,也不使用推理数据训练、微调或评估模型。
然后检查质量。下面这个脚本读取一个训练文件和一个评测文件,格式是常见的对话 JSONL(每行一个 {"messages": [...]},以助手的回答结尾),报告那些会悄悄毁掉微调的问题:损坏的行、重复、相同输入对应不同答案、泄漏进训练集的评测项、标签分布,以及可能的个人数据。
import json, re, sys
from collections import Counter
DIAC = re.compile(r"[ً-ٰٟـ]") # tashkeel, dagger alef, tatweel
PII = {"email": re.compile(r"[\w.+-]+@[\w-]+\.[\w.]+"),
"phone": re.compile(r"(?:\+|00)\d[\d\s-]{7,}\d")}
def norm(s: str) -> str:
s = DIAC.sub("", s.lower())
s = re.sub("[إأآٱ]", "ا", s).replace("ى", "ي")
return " ".join(s.split())
def load(path):
rows, errors = [], []
for i, line in enumerate(open(path, encoding="utf-8"), 1):
try:
ex = json.loads(line)
roles = [m["role"] for m in ex["messages"]]
if roles[-1] != "assistant" or "user" not in roles:
raise ValueError(f"roles {roles}")
rows.append(ex)
except (ValueError, KeyError, IndexError, TypeError) as e:
errors.append(f"line {i}: {e}")
return rows, errors
def key(ex): # the input side, normalised: what the model sees
return norm(" ".join(m["content"] for m in ex["messages"] if m["role"] != "assistant"))
def check(train_path, eval_path):
train, errs = load(train_path)
evals, eval_errs = load(eval_path)
keys = Counter(key(e) for e in train)
labels = Counter(e["messages"][-1]["content"].strip() for e in train)
leaked = {key(e) for e in evals} & set(keys)
pii = Counter(k for e in train for m in e["messages"] for k, rx in PII.items() if rx.search(m["content"]))
conflicts = Counter()
seen = {}
for e in train:
k, a = key(e), e["messages"][-1]["content"].strip()
if k in seen and seen[k] != a:
conflicts[k] += 1
seen.setdefault(k, a)
return {"train_examples": len(train), "parse_errors": errs + eval_errs,
"duplicate_inputs": sum(n - 1 for n in keys.values() if n > 1),
"same_input_different_answer": len(conflicts),
"eval_items_also_in_train": len(leaked),
"answer_distribution": labels.most_common(5),
"examples_with_possible_pii": dict(pii)}
if __name__ == "__main__":
print(json.dumps(check(sys.argv[1], sys.argv[2]), ensure_ascii=False, indent=1))
我们在一个七行的玩具文件上运行了它,内容是阿拉伯语、英语和西班牙语的客服工单。它发现了一行没有助手回答、两个重复输入(其中一个只差一个变音符号,规范化会去掉它,见阿拉伯语文本规范化)、一个同时被标为 billing 和 other 的输入、一个也出现在训练集中的评测项,以及一个电话号码。其中每一项都会让微调看起来比实际更好或更差。
规范化对阿拉伯语很重要。没有它,“متأخر” 和 “متأخِّر” 会被当成不同的输入,测试项的近似副本就可能混进训练集。
怎样公平地评估一个微调模型?
使用与基线相同的留出测试集,并且不让它进入训练。然后比较:
- 与最好的提示词比,而不是第一版。 一个微调模型打败了一条弱提示词,什么也证明不了。
- 按类别、按语言比。 总体提升可能掩盖了阿拉伯语的下降,而英语在变好。每一项都要报告。
- 比通用表现。 加入 20 到 50 个模型之前处理得很好的普通请求。窄范围的训练可能会让任务之外的表现变差。
- 比成本和延迟。 微调的理由往往是让一个更小的模型完成工作。也要测量每个请求的 token 数和耗时。
在看到数字之前就确定通过标准,就像评测那篇文章里说的:例如,“账单标签至少提高 5 个百分点,没有任何类别下降超过 2 个百分点,阿拉伯语和英语都要通过。”
无法微调托管模型时,有什么不同?
提供自助微调的托管 API 比你想象的要少。OpenAI 的弃用页面记录了其自助微调平台的一项更新:自 2026 年 5 月 7 日起,此前没有运行过微调的组织不能再创建任务;自 2026 年 7 月 2 日起,过去 60 天内没有在微调模型上运行过推理的组织也不能再创建任务;自 2027 年 1 月 6 日起,现有的活跃客户也不能再创建新的微调任务。已有的微调模型在其基座模型弃用之前仍可用于推理。
常见的替代方案是用 LoRA 这样的参数高效方法训练一个开放权重模型。LoRA 论文(Hu 等)报告,与用 Adam 对 GPT-3 175B 做全量微调相比,LoRA 可以把可训练参数减少 10,000 倍,把 GPU 显存需求减少 3 倍。之后你还需要一个地方来部署结果,要么是你自己的硬件,要么是能托管自定义权重的服务商。开放权重模型与闭源模型讨论了这种取舍。
BroadNet Inference 的定位
BroadRouter 是 BroadNet 自己的网站。BroadNet Inference 的自助 API 没有微调端点:它的 API 参考只记载了 chat completions 和音频转写。同一页面写道:“private endpoints, our Arabic fine-tunes and other models on request are reached with a private ID issued with the endpoint.”(译文:私有端点、我们的阿拉伯语微调模型以及其他按需提供的模型,通过随端点发放的私有 ID 访问。)BroadNet 的模型页面把一个针对嘈杂音频中的数字、日期和姓名做过微调的 BroadNet 版 Cohere Transcribe Arabic 列为按需提供,每位客户一个私有模型 ID,并说 Gemma 4 VL 26B 可以部署在私有端点上,“including our Arabic fine-tunes”(译文:包括我们的阿拉伯语微调模型)。这些都需要通过联系页面咨询,而不是你可以自行购买或训练的;要发送哪些信息,见规划私有端点。
在那一步之前的所有工作,公开模型就足以建立你的评测集和基线:Qwen3.8 27B 和 GLM 5.3 的文档记载了结构化输出,Gemma 4 VL 26B 可以使用 $5 初始额度,BroadNet Transcribe Arabic 以每分钟 $0.0042 处理语音。推理内容不会被保留;必要的账户、计费和安全元数据按 BroadNet 隐私声明所述保留。
