提示词每次都要告诉模型做什么。微调则改变模型本身,让它事先就知道。
工作原理
你从一个训练好的模型出发,用自己的示例继续训练。在监督微调(SFT)中,每条示例都是一段带有你期望回答的对话。OpenAI 的指南使用 JSONL 格式,即 “one complete JSON structure on every line”(译文:每行一个完整的 JSON 结构),采用对话格式:
{"messages": [{"role": "user", "content": "Classify: 'card charged twice'"}, {"role": "assistant", "content": "billing"}]}
训练任务会调整权重,让这些回答更有可能出现,并返回一个新的模型 ID。OpenAI 规定最少 10 条示例,建议先用 50 条,评估之后再决定是否增加。
全量微调会更新每一个权重,对大模型来说代价很高。Hu 等人的 LoRA 论文指出,为 GPT-3 部署多个独立的微调副本,“each with 175B parameters”(译文:每个都有 175B 参数),成本高得令人望而却步。LoRA 等参数高效方法改为训练一个小的附加模块。蒸馏是相关的思路:用大模型的输出微调一个小模型。
为什么重要
- 更短的提示词。 原本需要很长少样本提示才能实现的行为,可以转移到权重里,减少每次调用的输入 token。
- 一致性。 适合的场景包括分类、固定的输出风格、领域翻译,以及纠正不遵循指令的问题。
- 维护。 微调后的模型绑定在一个基座模型上。基座下线时,你就得重新训练。OpenAI 的指南现在说,它正在逐步关闭微调平台,已不对新用户开放,已微调的模型会继续提供服务,直到其基座模型停用。
- 先测量。 训练之前先建立评测,否则你无法判断微调后的模型是否更好。
想加入会变化的事实,微调不是好办法。检索能让这些事实保持最新。
在 BroadNet Inference 上
BroadNet 的 API 参考没有记录微调 API、训练任务或上传自有权重的功能。不过它确实说明,“our Arabic fine-tunes and other models on request”(译文:我们的阿拉伯语微调模型及其他按需提供的模型)需要通过随端点一起发放的私有模型 ID 访问。BroadNet 列出了一个这样的按需模型:针对嘈杂音频中的数字、日期和姓名微调的 Cohere Transcribe Arabic。公开的阿拉伯语转写模型请参见阿拉伯语语音转文字指南。如果你需要自己训练,开放权重模型是常见的起点;相关取舍见开放权重模型与闭源模型。