BroadRouter
始める

ファインチューニング(fine-tuning)

更新日

ファインチューニングとは、事前学習済みの言語モデルを、会話の例などタスク固有の小さなデータセットでさらに学習させることです。重みが変わるため、毎回のプロンプトに長い指示や例を入れなくても、そのタスクや文体をより安定してこなせます。

別名: ファインチューン、微調整、教師ありファインチューニング、SFT、モデルのファインチューニング、fine-tuning、finetuning、supervised fine-tuning、model fine-tuning

プロンプトは、やるべきことを毎回モデルに伝えます。ファインチューニングはモデル自体を変え、最初からわかっている状態にします。

仕組み

学習済みのモデルから始めて、自分の例でさらに学習させます。教師ありファインチューニング(SFT)では、各例が望む回答を含む会話です。OpenAI のガイドは JSONL、つまり “one complete JSON structure on every line”(訳:各行に 1 つの完全な JSON 構造)をチャット形式で使います。

{"messages": [{"role": "user", "content": "Classify: 'card charged twice'"}, {"role": "assistant", "content": "billing"}]}

学習ジョブはそれらの回答が出やすくなるよう重みを調整し、新しいモデル ID を返します。OpenAI は最低 10 件とし、まず 50 件で始めて評価してから増やすことを勧めています。

フルファインチューニングはすべての重みを更新するため、大きなモデルではコストがかかります。Hu らの LoRA 論文は、GPT-3 のファインチューニング済みコピー(“each with 175B parameters”、訳:それぞれ 175B パラメーター)を個別にデプロイするのは法外に高くつくと述べています。LoRA のようなパラメーター効率の良い手法は、代わりに小さな追加部分を学習します。蒸留も関連する考え方で、大きなモデルの出力で小さなモデルをファインチューニングします。

なぜ重要か

  • プロンプトが短くなる。 長い few-shot プロンプトが必要だった振る舞いを重みに移せるので、呼び出しごとの入力トークンが減ります。
  • 一貫性。 向いているのは、分類、決まった出力スタイル、専門分野の翻訳、指示に従わない問題の修正などです。
  • 保守。 ファインチューニングしたモデルは 1 つのベースモデルに縛られます。ベースが廃止されれば学習し直しです。OpenAI のガイドには現在、ファインチューニング基盤を段階的に終了しつつあり、新規ユーザーの受け付けを停止したこと、学習済みモデルはベースモデルの提供終了まで提供されることが書かれています。
  • まず測定から。 学習の前に eval を用意してください。そうしないと、ファインチューニングしたモデルが良くなったかどうか判断できません。

ファインチューニングは、変わっていく事実を加える方法としては不向きです。最新に保つなら検索のほうが適しています。

BroadNet Inference では

BroadNet の API リファレンスには、ファインチューニング API、学習ジョブ、独自の重みのアップロードは記載されていません。ただし “our Arabic fine-tunes and other models on request”(訳:当社のアラビア語ファインチューニングモデルやその他の要相談のモデル)は、エンドポイントとともに発行される専用モデル ID で利用すると書かれています。BroadNet が要相談として挙げているモデルの 1 つは、雑音の多い音声に含まれる数字、日付、名前向けにファインチューニングした Cohere Transcribe Arabic です。公開されているアラビア語の文字起こしモデルについては、アラビア語音声認識ガイドを参照してください。自分で学習させる必要があるなら、オープンウェイトモデルから始めるのが一般的です。トレードオフはオープンウェイトとクローズドモデルの比較で解説しています。

よくある質問

LLM のファインチューニングには例がいくつ必要ですか?

OpenAI のガイドは最低 10 件とし、よく作り込んだ 50 件から始めて効果を測ることを勧めています。良い例を 50 件入れても何も変わらないなら、例を増やす前にタスクそのものを見直してください。

社内ナレッジにはファインチューニングと RAG のどちらを使うべきですか?

たいていは検索(RAG)です。ファインチューニングは振る舞いや形式を教えるのは得意ですが、変わっていく事実は、リクエスト時に検索する文書に置いたほうが最新に保ちやすくなります。

BroadNet Inference でモデルをファインチューニングできますか?

BroadNet のドキュメントにはファインチューニング API の記載がありません。BroadNet 独自のアラビア語ファインチューニングモデルについては記載があり、要相談の専用エンドポイントとして利用できます。

Markdown で読むChatGPT に聞くClaude に聞くPerplexity に聞く