BroadRouter

ファインチューニングの前に:解決すべき問題を定義する

BroadNet Inference チーム · 約 7 分で読めます · 公開日 · 更新日

ファインチューニングは、よりよいプロンプト、例示、検索、検証でも直らない失敗が繰り返し起きると評価で示されてから行います。知識の欠如には検索が、形式の誤りには構造化出力とチェックが向きます。依頼前に、合法的に使えるラベル付きの例を集め、テストセットを取り分け、超えるべきスコアを記録します。

モデルが何かを間違えたとき、ファインチューニングは真っ先に手を伸ばされがちな解決策ですが、しばしば間違った選択でもあります。データ収集、ラベル付け、学習の実行にコストがかかり、さらに保守すべきモデルが 1 つ増えます。多くの失敗は、より明確なプロンプト、正しい文書の検索、出力のコードチェックで消えます。この記事は、自分がどちらのケースにいるかを判断する方法と、本当にカスタムモデルが必要な場合に何を準備すべきかを扱います。

解決しようとしている問題は何ですか?

解決策を名指す前に、失敗を名指してください。LLM の失敗の多くはいくつかのパターンに分類でき、それぞれにより安い最初の一手があります。

症状 まず試すこと ファインチューニングが役立つ場合
事実が誤っている、古い 自社文書に対する検索(RAG) まれ。変わる事実はいずれにせよ検索が必要
形式の誤り、壊れた JSON 構造化出力、スキーマチェック、1 回のリトライ 形式が特殊で、プロンプト内の例では足りない
ラベルやカテゴリーが一貫しない 明確な定義と Few-shot の例示 ラベルの種類が多いか微妙で、例がプロンプトに収まらない
口調やスタイルが違う システムプロンプトに例付きのスタイルガイド 自社のスタイルを何千もの出力で保つ必要がある
専門用語の聞き違い・書き違い プロンプトに用語リスト、コードで事後補正 音声モデルが同じ名前、コード、数字を繰り返し聞き違える
規模が大きくなると遅すぎる、高すぎる より小さなモデル、プロンプトキャッシュ、短いプロンプト 狭いタスクなら、ファインチューニングした小さなモデルが大きなモデルに並べる
言語や方言が違う 正しい言語で指示する。アラビア語のプロンプトエンジニアリングを参照 モデルは理解するが、必要な方言で書こうとしない

OpenAI 自身のガイドも同じ順序を示しています。まず評価を書き、次にプロンプトを改善し、一部のユースケースでファインチューニングを行う、というものです。ガイドはプロンプトエンジニアリングのプロセスについて “may be all you need in order to get great results”(訳:優れた結果を得るにはそれだけで十分かもしれない)と述べています。そして、プロンプトに対してファインチューニングが加えるものとして、1 つのプロンプトに収まらない数の例、トークンを節約できる短いプロンプト、リクエストのたびに送りたくないデータでの学習、小さなモデルを 1 つのタスクに強くすること、を挙げています。

失敗が繰り返し起きていることはどう証明しますか?

評価セットで証明します。乗り換え前の LLM 評価のように、正解のわかっている実際の入力を 100〜200 件集めます。現在のプロンプトを採点します。そのうえで、すべての失敗に wrong_label、missing_field、dialect、hallucinated_fact などの短いカテゴリーを付けます。

あるパターンがファインチューニングの候補になるのは、次の 3 つがすべて当てはまる場合だけです。

  1. 頻繁である。 1〜2 件の珍しいケースではなく、失敗の中で意味のある割合を占めている。
  2. 安い対策を経ても残る。 より明確な指示、例示、検索、検証を試しても、そのカテゴリーが残っている。
  3. 一貫している。 正解について人々の意見が一致している。自社のレビュー担当者 2 人が同じケースに違うラベルを付けるなら、そのラベルで学習したモデルは不一致を学習します。

結果を短い文で書き留めます。たとえば次のような架空の例です。「200 件のアラビア語サポートセットで、最良のプロンプトは請求関連のチケットの 18% を配送と誤ってラベル付けする。Few-shot の例示で 15% に下がった」。この文がファインチューニングの要件であり、超えるべき数値です。

まず試すべき、より簡単な変更は?

コストの低い順に実行し、1 つ終えるたびに採点し直します。

  1. 指示。 すべてのラベルや項目を定義します。不確かなときにどうするかを指定します。
  2. 例示。 難しいケースも含めて、実際の例を 3〜10 件加えます。
  3. 検索。 回答に事実が必要なら、関連する箇所を検索します。選択肢はアラビア語の RAG 検索とロングコンテキストか RAG かで扱っています。
  4. 制約。 モデルが対応していれば構造化出力を使い、出力をコードでチェックします。エラーを添えて 1 回聞き直します。
  5. 別のモデル。 別のベースモデルがすでに必要なことをできるかもしれません。同じ評価セットを使えば 1 時間でわかります。

どのステップも数週間ではなく数時間で済み、どれもよりよいベースラインを残します。それでもファインチューニングが必要なら、そのベースラインが超えるべき目標になります。

どんなデータが必要で、使う権利はありますか?

品質の前に、権利を確認します。学習データは顧客との会話、文書、通話録音から集めることが多く、法的根拠と、多くの場合は学習を対象に含む同意や契約条項が必要です。自社のプライバシーポリシーと顧客との契約を確認し、不要な個人データは削除してください。API プロバイダーが代わりに集めてくれていると思い込まないでください。たとえば BroadNet のプライバシー声明は、推論の内容を保持せず、推論データをモデルの学習、ファインチューニング、評価に使わないと述べています。

次に品質を確認します。このスクリプトは、一般的なチャット形式の JSONL(1 行に 1 つの {"messages": [...]}、最後はアシスタントの回答)の学習ファイルと評価ファイルを読み込み、ファインチューニングを静かに台無しにする問題を報告します。壊れた行、重複、同じ入力に異なる回答、学習に漏れ込んだ評価項目、ラベルの分布、個人データの可能性です。

import json, re, sys
from collections import Counter

DIAC = re.compile(r"[ً-ٰٟـ]")          # tashkeel, dagger alef, tatweel
PII = {"email": re.compile(r"[\w.+-]+@[\w-]+\.[\w.]+"),
       "phone": re.compile(r"(?:\+|00)\d[\d\s-]{7,}\d")}

def norm(s: str) -> str:
    s = DIAC.sub("", s.lower())
    s = re.sub("[إأآٱ]", "ا", s).replace("ى", "ي")
    return " ".join(s.split())

def load(path):
    rows, errors = [], []
    for i, line in enumerate(open(path, encoding="utf-8"), 1):
        try:
            ex = json.loads(line)
            roles = [m["role"] for m in ex["messages"]]
            if roles[-1] != "assistant" or "user" not in roles:
                raise ValueError(f"roles {roles}")
            rows.append(ex)
        except (ValueError, KeyError, IndexError, TypeError) as e:
            errors.append(f"line {i}: {e}")
    return rows, errors

def key(ex):     # the input side, normalised: what the model sees
    return norm(" ".join(m["content"] for m in ex["messages"] if m["role"] != "assistant"))

def check(train_path, eval_path):
    train, errs = load(train_path)
    evals, eval_errs = load(eval_path)
    keys = Counter(key(e) for e in train)
    labels = Counter(e["messages"][-1]["content"].strip() for e in train)
    leaked = {key(e) for e in evals} & set(keys)
    pii = Counter(k for e in train for m in e["messages"] for k, rx in PII.items() if rx.search(m["content"]))
    conflicts = Counter()
    seen = {}
    for e in train:
        k, a = key(e), e["messages"][-1]["content"].strip()
        if k in seen and seen[k] != a:
            conflicts[k] += 1
        seen.setdefault(k, a)
    return {"train_examples": len(train), "parse_errors": errs + eval_errs,
            "duplicate_inputs": sum(n - 1 for n in keys.values() if n > 1),
            "same_input_different_answer": len(conflicts),
            "eval_items_also_in_train": len(leaked),
            "answer_distribution": labels.most_common(5),
            "examples_with_possible_pii": dict(pii)}

if __name__ == "__main__":
    print(json.dumps(check(sys.argv[1], sys.argv[2]), ensure_ascii=False, indent=1))

アラビア語、英語、スペイン語のサポートチケットからなる 7 行のおもちゃのファイルで実行しました。アシスタントの回答がない行が 1 つ、重複した入力が 2 つ(1 つは発音記号 1 つだけの違いで、正規化で除去されます。アラビア語テキストの正規化を参照)、billing と other の両方のラベルが付いた入力が 1 つ、学習にも現れる評価項目が 1 つ、電話番号が 1 つ見つかりました。どれも、ファインチューニングを実際より良くも悪くも見せていたはずです。

アラビア語では正規化が重要です。正規化しないと「متأخر」と「متأخِّر」が別の入力として数えられ、テスト項目のほぼコピーが学習に紛れ込むことがあります。

ファインチューニングを公平に評価するには?

ベースラインに使ったのと同じホールドアウトのテストセットを使い、学習には入れないでください。そのうえで次のように比べます。

  • 最初のプロンプトではなく、最良のプロンプトと比べる。 弱いプロンプトに勝つファインチューニングは何も証明しません。
  • カテゴリーごと、言語ごとに比べる。 全体の向上が、英語の改善の陰でアラビア語の低下を隠すことがあります。それぞれを報告してください。
  • 一般的な振る舞いを比べる。 以前はうまく処理できていた普通のリクエストを 20〜50 件加えます。狭い学習は、タスク外の振る舞いを劣化させることがあります。
  • コストとレイテンシを比べる。 ファインチューニングは、小さなモデルで仕事をこなせることを理由に正当化されることがよくあります。リクエストあたりのトークン数と時間も測ってください。

評価の記事と同じく、数値を見る前に合格の基準を決めておきます。たとえば「請求ラベルで 5 ポイント以上改善し、2 ポイントを超えて悪化したカテゴリーがなく、アラビア語と英語の両方が合格すること」です。

ホスト型モデルをファインチューニングできない場合は何が変わりますか?

セルフサービスのファインチューニングを提供するホスト型 API は、思ったより少ないものです。OpenAI の非推奨ページには、セルフサービスのファインチューニング基盤に関する更新が記録されています。2026 年 5 月 7 日からは、それまでファインチューニングを実行していなかった組織はジョブを作成できなくなり、2026 年 7 月 2 日からは過去 60 日間にファインチューニング済みモデルで推論を実行していなかった組織も同様となり、2027 年 1 月 6 日からは既存のアクティブな顧客も新しいファインチューニングジョブを作成できなくなります。既存のファインチューニング済みモデルは、ベースモデルが非推奨になるまで推論に使えます。

よくある代替策は、LoRA のようなパラメーター効率のよい手法でオープンウェイトモデルを学習させることです。LoRA の論文(Hu ほか)は、GPT-3 175B を Adam でフルファインチューニングする場合と比べ、LoRA は学習可能なパラメーター数を 10,000 分の 1 に、GPU メモリの必要量を 3 分の 1 に減らせると報告しています。その後、結果を提供する場所が必要になります。自社のハードウェアか、カスタムの重みをホストするプロバイダーです。そのトレードオフはオープンウェイトとクローズドモデルの比較で扱っています。

BroadNet Inference の位置づけ

BroadRouter は BroadNet 自身のサイトです。BroadNet Inference のセルフサービス API にはファインチューニングのエンドポイントがなく、API リファレンスに記載されているのは chat completions と音声の文字起こしだけです。同じページには “private endpoints, our Arabic fine-tunes and other models on request are reached with a private ID issued with the endpoint.”(訳:専用エンドポイント、当社のアラビア語ファインチューニングモデル、その他の要相談のモデルには、エンドポイントとともに発行される非公開の ID でアクセスします)とあります。BroadNet のモデルページでは、騒がしい音声中の数字、日付、名前向けにファインチューニングした BroadNet 版の Cohere Transcribe Arabic を、顧客ごとに非公開のモデル ID を持つ要相談のモデルとして掲載し、Gemma 4 VL 26B は専用エンドポイントで “including our Arabic fine-tunes”(訳:当社のアラビア語ファインチューニングモデルを含めて)利用できるとしています。これらはお問い合わせページからの相談であり、自分で購入したり学習させたりできるものではありません。何を送ればよいかは専用エンドポイントの計画で扱っています。

その手前の作業はすべて、公開モデルで評価セットとベースラインを作るのに十分です。Qwen3.8 27B と GLM 5.3 は構造化出力が文書化されており、Gemma 4 VL 26B は $5 の初回クレジットで動き、BroadNet Transcribe Arabic は 1 分あたり $0.0042 で音声を処理します。推論の内容は保持されません。必要なアカウント、課金、セキュリティのメタデータは、BroadNet のプライバシー声明に記載のとおり保持されます。

よくある質問

ファインチューニングと RAG のどちらを使うべきですか?

モデルに事実、特に文書、価格、ポリシーのような変わる事実が欠けているなら検索を使います。モデルが情報を持っているのに、形式、口調、ラベル、専門用語などで一貫して誤った振る舞いをし、例示付きのプロンプトでも直らない場合にファインチューニングを検討します。

プロンプトエンジニアリングで十分かどうかはどうわかりますか?

測ってください。実際の入力から評価セットを作り、現在のプロンプトを採点し、より明確な指示、Few-shot の例示、構造化出力、検証を試します。スコアが目標に届けばそこで終わりです。これらの変更を経ても残る失敗の種類があれば、それがファインチューニングの候補です。

ファインチューニングにはどれくらいのデータが必要ですか?

万能の数字はありません。タスク、ベースモデル、手法によります。気にするすべてのケースをカバーする一貫したラベル付きの例と、別のホールドアウトのテストセットを集め、データを増やしてもスコアがまだ上がるかを確認してください。

BroadNet Inference でモデルをファインチューニングできますか?

セルフサービスではできません。BroadNet の API リファレンスに記載されているのは chat completions と音声の文字起こしで、学習用のエンドポイントはありません。BroadNet は、調整済みの Cohere Transcribe Arabic などのアラビア語ファインチューニングモデルを、専用エンドポイントと非公開のモデル ID で提供する要相談のモデルとして掲載しています。

BroadNet は私の API トラフィックで学習しますか?

BroadNet のプライバシー声明によると、推論データをモデルの学習、ファインチューニング、評価に使わず、推論の内容も保持しません。自分のトラフィックでファインチューニングしたいなら、利用する権利を確保したうえで、そのデータを自分で収集・保管する必要があります。

Markdown で読むChatGPT に聞くClaude に聞くPerplexity に聞く