プロンプトは、やるべきことを毎回モデルに伝えます。ファインチューニングはモデル自体を変え、最初からわかっている状態にします。
仕組み
学習済みのモデルから始めて、自分の例でさらに学習させます。教師ありファインチューニング(SFT)では、各例が望む回答を含む会話です。OpenAI のガイドは JSONL、つまり “one complete JSON structure on every line”(訳:各行に 1 つの完全な JSON 構造)をチャット形式で使います。
{"messages": [{"role": "user", "content": "Classify: 'card charged twice'"}, {"role": "assistant", "content": "billing"}]}
学習ジョブはそれらの回答が出やすくなるよう重みを調整し、新しいモデル ID を返します。OpenAI は最低 10 件とし、まず 50 件で始めて評価してから増やすことを勧めています。
フルファインチューニングはすべての重みを更新するため、大きなモデルではコストがかかります。Hu らの LoRA 論文は、GPT-3 のファインチューニング済みコピー(“each with 175B parameters”、訳:それぞれ 175B パラメーター)を個別にデプロイするのは法外に高くつくと述べています。LoRA のようなパラメーター効率の良い手法は、代わりに小さな追加部分を学習します。蒸留も関連する考え方で、大きなモデルの出力で小さなモデルをファインチューニングします。
なぜ重要か
- プロンプトが短くなる。 長い few-shot プロンプトが必要だった振る舞いを重みに移せるので、呼び出しごとの入力トークンが減ります。
- 一貫性。 向いているのは、分類、決まった出力スタイル、専門分野の翻訳、指示に従わない問題の修正などです。
- 保守。 ファインチューニングしたモデルは 1 つのベースモデルに縛られます。ベースが廃止されれば学習し直しです。OpenAI のガイドには現在、ファインチューニング基盤を段階的に終了しつつあり、新規ユーザーの受け付けを停止したこと、学習済みモデルはベースモデルの提供終了まで提供されることが書かれています。
- まず測定から。 学習の前に eval を用意してください。そうしないと、ファインチューニングしたモデルが良くなったかどうか判断できません。
ファインチューニングは、変わっていく事実を加える方法としては不向きです。最新に保つなら検索のほうが適しています。
BroadNet Inference では
BroadNet の API リファレンスには、ファインチューニング API、学習ジョブ、独自の重みのアップロードは記載されていません。ただし “our Arabic fine-tunes and other models on request”(訳:当社のアラビア語ファインチューニングモデルやその他の要相談のモデル)は、エンドポイントとともに発行される専用モデル ID で利用すると書かれています。BroadNet が要相談として挙げているモデルの 1 つは、雑音の多い音声に含まれる数字、日付、名前向けにファインチューニングした Cohere Transcribe Arabic です。公開されているアラビア語の文字起こしモデルについては、アラビア語音声認識ガイドを参照してください。自分で学習させる必要があるなら、オープンウェイトモデルから始めるのが一般的です。トレードオフはオープンウェイトとクローズドモデルの比較で解説しています。