BroadRouter

微调之前:先定义要解决的问题

BroadNet Inference 团队 · 阅读约 7 分钟 · 发布于 · 更新于

只有当评测表明某种失败反复出现,而更好的提示词、示例、检索和校验都没能解决时,才去微调。缺少知识通常需要检索,格式错误需要结构化输出和检查。在申请定制模型之前,先收集你有合法使用权的标注样本,留出测试集,并记录需要超越的基线分数。

模型出错时,微调往往是人们首先想到的办法,但也往往是错的那个。它要花在数据收集、标注、训练上,还会给你留下一个需要维护的模型。许多失败只要一条更清晰的提示词、检索到正确的文档,或在代码里检查一下输出,就会消失。本文讲的是如何判断你属于哪种情况,以及如果真的需要定制模型,要准备些什么。

你要解决的是什么问题?

先说出失败是什么,再说出解法是什么。大多数大模型失败可以归入几种模式,每种都有更便宜的第一步:

症状 先试试 微调有帮助的情况
事实错误或过时 对你的文档做检索(RAG) 很少;会变化的事实无论如何都需要检索
格式错误、JSON 损坏 结构化输出、schema 检查、重试一次 格式不常见,提示词里的示例不够用
标签或类别不一致 清晰的定义和少样本示例 标签集很大或很微妙,示例放不进提示词
语气或风格不对 在系统提示词里写风格指南并附示例 内部风格必须在成千上万的输出中保持一致
领域词汇听错或拼错 在提示词中加入词汇表,在代码中做后期纠正 语音模型反复听错同样的名称、编码或数字
规模化后太慢或太贵 更小的模型、提示词缓存、更短的提示词 小的微调模型能在窄任务上追平大模型
语言或方言不对 用正确的语言写指令;见阿拉伯语提示词工程 模型能理解,却不肯用你需要的方言写作

OpenAI 自己的指南描述的是同样的顺序:先写评测,再迭代提示词,部分用例再做微调。它说提示词工程的过程 “may be all you need in order to get great results”(译文:可能就是取得出色结果所需的全部)。它列出了微调相对于提示词的额外价值:比一条提示词能容纳的更多示例、节省 token 的更短提示词、用你不想在每次请求中发送的数据来训练,以及让一个更小的模型擅长某一项任务。

怎样证明失败是反复出现的?

用评测集。像切换大模型前如何评估中那样,收集 100 到 200 个带有已知正确输出的真实输入。给你当前的提示词打分。然后给每个失败标上简短的类别:wrong_label、missing_field、dialect、hallucinated_fact 等。

只有同时满足以下三点,一种模式才是微调的候选:

  1. 频繁。 它占失败中相当的比例,而不是一两个奇怪的个例。
  2. 便宜的修法都没能消除它。 你试过更清晰的指令、示例、检索和校验,这一类仍然存在。
  3. 一致。 大家对正确答案意见一致。如果你自己的两位复核人员对同一个案例标得不一样,用他们的标签训练出来的模型就会学到这种分歧。

把结果写成一句简短的陈述,比如这个虚构的例子:“在我们 200 个案例的阿拉伯语客服集上,最好的提示词把 18% 的账单工单错标为配送;少样本示例把它降到了 15%。” 这句话就是微调的需求说明,也是需要超越的数字。

应该先测试哪些更简单的改动?

按成本从低到高依次进行,每做一步就重新打分:

  1. 指令。 给每个标签或字段下定义。说明不确定时该怎么做。
  2. 示例。 加入三到十个真实示例,包括难的案例。
  3. 检索。 如果回答需要事实,就检索相关段落。阿拉伯语 RAG 搜索和长上下文与 RAG介绍了各种选择。
  4. 约束。 在模型支持的地方使用结构化输出,并在代码里检查输出。带上错误信息重新请求一次。
  5. 换一个模型。 另一个基座模型可能已经能满足你的需要。用同一个评测集,一个小时就能知道。

每一步花的是几个小时,而不是几周,而且每一步都会给你留下一个更好的基线;如果仍然需要微调,它就是微调要超越的对象。

需要什么数据?你有权使用吗?

在看质量之前,先查权利。训练数据通常来自客户对话、文档或通话录音。你需要合法依据,而且往往需要用户同意或覆盖训练用途的合同条款。检查你自己的隐私声明和客户合同,删除不需要的个人数据。不要以为 API 服务商在替你收集:例如 BroadNet 的隐私声明说,它不保留推理内容,也不使用推理数据训练、微调或评估模型。

然后检查质量。下面这个脚本读取一个训练文件和一个评测文件,格式是常见的对话 JSONL(每行一个 {"messages": [...]},以助手的回答结尾),报告那些会悄悄毁掉微调的问题:损坏的行、重复、相同输入对应不同答案、泄漏进训练集的评测项、标签分布,以及可能的个人数据。

import json, re, sys
from collections import Counter

DIAC = re.compile(r"[ً-ٰٟـ]")          # tashkeel, dagger alef, tatweel
PII = {"email": re.compile(r"[\w.+-]+@[\w-]+\.[\w.]+"),
       "phone": re.compile(r"(?:\+|00)\d[\d\s-]{7,}\d")}

def norm(s: str) -> str:
    s = DIAC.sub("", s.lower())
    s = re.sub("[إأآٱ]", "ا", s).replace("ى", "ي")
    return " ".join(s.split())

def load(path):
    rows, errors = [], []
    for i, line in enumerate(open(path, encoding="utf-8"), 1):
        try:
            ex = json.loads(line)
            roles = [m["role"] for m in ex["messages"]]
            if roles[-1] != "assistant" or "user" not in roles:
                raise ValueError(f"roles {roles}")
            rows.append(ex)
        except (ValueError, KeyError, IndexError, TypeError) as e:
            errors.append(f"line {i}: {e}")
    return rows, errors

def key(ex):     # the input side, normalised: what the model sees
    return norm(" ".join(m["content"] for m in ex["messages"] if m["role"] != "assistant"))

def check(train_path, eval_path):
    train, errs = load(train_path)
    evals, eval_errs = load(eval_path)
    keys = Counter(key(e) for e in train)
    labels = Counter(e["messages"][-1]["content"].strip() for e in train)
    leaked = {key(e) for e in evals} & set(keys)
    pii = Counter(k for e in train for m in e["messages"] for k, rx in PII.items() if rx.search(m["content"]))
    conflicts = Counter()
    seen = {}
    for e in train:
        k, a = key(e), e["messages"][-1]["content"].strip()
        if k in seen and seen[k] != a:
            conflicts[k] += 1
        seen.setdefault(k, a)
    return {"train_examples": len(train), "parse_errors": errs + eval_errs,
            "duplicate_inputs": sum(n - 1 for n in keys.values() if n > 1),
            "same_input_different_answer": len(conflicts),
            "eval_items_also_in_train": len(leaked),
            "answer_distribution": labels.most_common(5),
            "examples_with_possible_pii": dict(pii)}

if __name__ == "__main__":
    print(json.dumps(check(sys.argv[1], sys.argv[2]), ensure_ascii=False, indent=1))

我们在一个七行的玩具文件上运行了它,内容是阿拉伯语、英语和西班牙语的客服工单。它发现了一行没有助手回答、两个重复输入(其中一个只差一个变音符号,规范化会去掉它,见阿拉伯语文本规范化)、一个同时被标为 billing 和 other 的输入、一个也出现在训练集中的评测项,以及一个电话号码。其中每一项都会让微调看起来比实际更好或更差。

规范化对阿拉伯语很重要。没有它,“متأخر” 和 “متأخِّر” 会被当成不同的输入,测试项的近似副本就可能混进训练集。

怎样公平地评估一个微调模型?

使用与基线相同的留出测试集,并且不让它进入训练。然后比较:

  • 与最好的提示词比,而不是第一版。 一个微调模型打败了一条弱提示词,什么也证明不了。
  • 按类别、按语言比。 总体提升可能掩盖了阿拉伯语的下降,而英语在变好。每一项都要报告。
  • 比通用表现。 加入 20 到 50 个模型之前处理得很好的普通请求。窄范围的训练可能会让任务之外的表现变差。
  • 比成本和延迟。 微调的理由往往是让一个更小的模型完成工作。也要测量每个请求的 token 数和耗时。

在看到数字之前就确定通过标准,就像评测那篇文章里说的:例如,“账单标签至少提高 5 个百分点,没有任何类别下降超过 2 个百分点,阿拉伯语和英语都要通过。”

无法微调托管模型时,有什么不同?

提供自助微调的托管 API 比你想象的要少。OpenAI 的弃用页面记录了其自助微调平台的一项更新:自 2026 年 5 月 7 日起,此前没有运行过微调的组织不能再创建任务;自 2026 年 7 月 2 日起,过去 60 天内没有在微调模型上运行过推理的组织也不能再创建任务;自 2027 年 1 月 6 日起,现有的活跃客户也不能再创建新的微调任务。已有的微调模型在其基座模型弃用之前仍可用于推理。

常见的替代方案是用 LoRA 这样的参数高效方法训练一个开放权重模型。LoRA 论文(Hu 等)报告,与用 Adam 对 GPT-3 175B 做全量微调相比,LoRA 可以把可训练参数减少 10,000 倍,把 GPU 显存需求减少 3 倍。之后你还需要一个地方来部署结果,要么是你自己的硬件,要么是能托管自定义权重的服务商。开放权重模型与闭源模型讨论了这种取舍。

BroadNet Inference 的定位

BroadRouter 是 BroadNet 自己的网站。BroadNet Inference 的自助 API 没有微调端点:它的 API 参考只记载了 chat completions 和音频转写。同一页面写道:“private endpoints, our Arabic fine-tunes and other models on request are reached with a private ID issued with the endpoint.”(译文:私有端点、我们的阿拉伯语微调模型以及其他按需提供的模型,通过随端点发放的私有 ID 访问。)BroadNet 的模型页面把一个针对嘈杂音频中的数字、日期和姓名做过微调的 BroadNet 版 Cohere Transcribe Arabic 列为按需提供,每位客户一个私有模型 ID,并说 Gemma 4 VL 26B 可以部署在私有端点上,“including our Arabic fine-tunes”(译文:包括我们的阿拉伯语微调模型)。这些都需要通过联系页面咨询,而不是你可以自行购买或训练的;要发送哪些信息,见规划私有端点。

在那一步之前的所有工作,公开模型就足以建立你的评测集和基线:Qwen3.8 27B 和 GLM 5.3 的文档记载了结构化输出,Gemma 4 VL 26B 可以使用 $5 初始额度,BroadNet Transcribe Arabic 以每分钟 $0.0042 处理语音。推理内容不会被保留;必要的账户、计费和安全元数据按 BroadNet 隐私声明所述保留。

常见问题

该用微调还是 RAG?

模型缺少事实时用检索,尤其是会变化的事实:文档、价格、政策。当模型掌握了信息、却以一致的方式表现不对(比如格式、语气、标签或领域词汇),而带示例的提示词也没能解决时,再考虑微调。

怎么知道提示词工程够不够?

去测量。用真实输入建一个评测集,给当前提示词打分,然后尝试更清晰的指令、少样本示例、结构化输出和校验。如果分数达到目标,就到此为止。如果某一类失败在这些改动后依然存在,它就是微调的候选。

微调需要多少数据?

没有通用的数字。它取决于任务、基座模型和方法。收集足够多、标注一致、覆盖你关心的所有情况的样本,外加一个单独的留出测试集,并检查随着数据增加分数是否仍在上升。

可以在 BroadNet Inference 上微调模型吗?

不能自助微调。BroadNet 的 API 参考记载了 chat completions 和音频转写,没有训练端点。BroadNet 把阿拉伯语微调模型(例如调优过的 Cohere Transcribe Arabic)列为按需提供的模型,部署在私有端点上,使用私有模型 ID。

BroadNet 会用我的 API 流量训练模型吗?

BroadNet 的隐私声明说,它不使用推理数据训练、微调或评估模型,也不保留推理内容。如果你想用自己的流量做微调,就必须自己收集和保存这些数据,并拥有使用权。

以 Markdown 格式阅读问 ChatGPT问 Claude问 Perplexity