アラビア語の分類タスクはどこにでもあります。このレビューは肯定的か、この WhatsApp のメッセージは苦情か、このチケットはどのチームに回すべきか、緊急か。LLM 以前は、タスクごとにラベル付きのデータセットとファインチューニングしたモデルが必要でした。今はプロンプトから始められます。そのほうが速いのですが、10 件の例ではよく見えて湾岸方言では失敗する分類器を、うっかりリリースしてしまいがちです。この記事では、プロンプト、出力形式、テスト、コストを取り上げます。
LLM に向いている分類タスクはどれですか?
| タスク | ラベルの例 | 注意点 |
|---|---|---|
| 感情 | positive、negative、neutral、mixed | 中立と混在は、人とモデルの判断が最も分かれるところ |
| 意図 | complaint、question、order、cancel、other | “other” は残す。無理にラベルを付けると誤りが生まれる |
| チケットの振り分け | billing、delivery、technical、account | ラベルは実際のチームに合わせる |
| 緊急度 | urgent、normal | 緊急を 1 行で定義する:「顧客が今サービスを使えない」 |
| 方言または文字 | MSA、Gulf、Egyptian、Levantine、Arabizi | 適切な返信テンプレートへの振り分けに便利。Arabizi を参照 |
| トピックタグ | 固定リストから複数のラベル | リストで返させ、長さに上限を設ける |
LLM が向いているのは、ラベル付きの例が少ないとき、ラベルが頻繁に変わるとき、各ラベルに理由がほしいときです。ファインチューニングした分類器が向いているのは、ラベルが安定していて、件数が膨大で、すでに数千件のラベル付きの例があるときです。
アラビア語での LLM について、研究は何と言っていますか?
始める前に知っておく価値のある結果が 2 つあります。
- **ファインチューニング済みのアラビア語モデルが勝つことがある。**GPTAraEval は ChatGPT を 44 のアラビア語タスクでテストし、“consistently surpassed by smaller models that have undergone finetuning on Arabic”(訳:アラビア語でファインチューニングされた、より小さなモデルに一貫して上回られた)と報告しました。著者らは、方言での結果が現代標準アラビア語より弱いことも見いだしています(Khondaker ほか)。
- **方言を考慮したプロンプトは効果がある。**MSA、サウジ方言、モロッコのダリジャで DeepSeek-R1、Qwen2.5、LLaMA-3 の感情分析を調べた RANLP 2025 の研究は、方言を考慮したプロンプトで、特に中立と否定のクラスの精度が向上したと報告しています(Alharbi ほか)。
これらは実際に使うモデルより古いか、別のモデルなので、数字ではなく方向性として扱ってください。ただ、教訓は変わりません。自社のメッセージで、方言ごとに測定してください。
ラベルはどう設計するのですか?
モデルではなく、ここから始めます。
- **リストは短く。**1 つの問いにつきラベルは 4〜8 個です。感情、意図、緊急度など別々の問いは、1 つの巨大なリストではなく別々のフィールドにしてください。
- **各ラベルを 1 行で定義する。**何が該当しないかも書きます:「complaint:購入したものの問題を顧客が報告している。価格に関する質問は含まない。」
- 逃げ道のラベルを加える。
otherやunclearなどです。 - 混在するケースを先に決める。「配達は遅れたけど、ドライバーは親切だった」は中立ではなく混在です。この規則を書き残してください。
テキストがアラビア語でも、ラベルの定義は英語でかまいません。ラベルの値は英語のままにしておけば、コードがアラビア語の文字列マッチングに依存せずに済みます。
アラビア語の分類にはどんなプロンプトが効きますか?
import json, os
from openai import OpenAI
client = OpenAI(base_url="https://inference.broadnet.ai/v1", api_key=os.environ["BROADNET_API_KEY"])
LABELS = ["complaint", "question", "order", "cancel", "other"]
SYSTEM = """You classify customer messages written in Arabic.
Messages may be Modern Standard Arabic, Gulf or Egyptian dialect, Arabizi, or mixed with English.
Labels:
- complaint: reports a problem with a product, delivery or service.
- question: asks for information; no problem reported.
- order: wants to buy or change an order.
- cancel: wants to cancel an order or subscription.
- other: none of the above.
Return JSON only: {"label": one of the labels, "evidence": the shortest Arabic phrase from the message that decided it}.
Examples:
"الطلب وصل ناقص قطعتين" -> {"label": "complaint", "evidence": "وصل ناقص"}
"بكم التوصيل للرياض؟" -> {"label": "question", "evidence": "بكم التوصيل"}
"عايز ألغي الاشتراك" -> {"label": "cancel", "evidence": "ألغي الاشتراك"}"""
def classify(text):
r = client.chat.completions.create(
model="broadnet/qwen3.8-27b",
temperature=0,
reasoning_effort="low",
max_tokens=1000,
messages=[{"role": "system", "content": SYSTEM},
{"role": "user", "content": text}])
out = json.loads(r.choices[0].message.content)
if out.get("label") not in LABELS:
raise ValueError(f"bad label: {out}")
return out
各部分がある理由:
- 方言の行は、モデルに何が来るかを伝えます。これが RANLP の研究で効果が確認された、方言を考慮したプロンプトです。
- **複数の方言の例。**上の例は湾岸方言とエジプト方言を混ぜています。自社のトラフィックから実際の(匿名化した)メッセージを使ってください。
- 根拠としての引用があれば、レビュー担当者は 1 秒でラベルを確認でき、当て推量も見つけやすくなります。
- **
reasoning_effort="low"。**Qwen3.8 27B、GLM 5.3、DeepSeek V4.1 Flash は回答の前に推論し、推論はmax_tokensに含まれます。BroadNet のドキュメントは、reasoning_effortをlowにするか、1,000 トークン以上の余裕を残すことを勧めています。そうしないと回答が空になる理由。 - **未知のラベルはコードで拒否する。**モデルがリストから外れないと信じてはいけません。
より厳密な出力の取り決めについては、JSON モードと json_schemaをご覧ください。BroadNet は GLM 5.3 と Qwen3.8 27B を構造化出力対応としています。
BroadNet のどのモデルを使うべきですか?
| モデル | 選ぶ理由 | 100 万トークンあたりの入力 / 出力 |
|---|---|---|
| Qwen3.8 27B | BroadNet がアラビア語でテスト済み:湾岸方言とエジプト方言を理解。構造化出力対応 | $0.175 / $2.17 |
| BroadNet Gemma 4 VL 26B | BroadNet で最も安いトークン単価。$5 の初回クレジットで使える。構造化出力対応の記載がないので、出力を厳密に検証する | $0.10 / $0.22 |
| DeepSeek V4.1 Flash | 1 セッションあたり月 $60 の定額プランもある。同時に処理するのは 1 リクエスト | $0.175 / $0.52 |
| GLM 5.3 | 構造化出力対応。4 つの中で最も高価 | $0.78 / $3.46 |
まず Qwen3.8 27B と Gemma 4 VL 26B でテストセットを実行してください。Gemma のスコアが十分に近ければ、短いラベルにはそちらが安い選択肢です。この表ではなく、自社の数字で選んでください。
分類器はどうテストするのですか?
- **実際のメッセージ 200 件に人手でラベルを付ける。**ネイティブスピーカーと一緒に、上記のラベル定義を使います。受け取るすべての方言を、それぞれ 30 件以上含めてください。
- 200 件すべてでモデルを実行する。
- **macro F1 を計算する。**ラベルごとの F1 スコアの平均なので、まれなラベルもよくあるラベルと同じ重みで数えられます。正解率だけでは、
cancelを一度も出さないモデルが見えなくなります。 - 混同行列を読む。
questionとcomplaintが頻繁に入れ替わるなら、定義が重なっています。モデルを変える前に定義を直してください。 - **方言ごとに結果を分ける。**MSA に強く湾岸方言に弱いモデルもあります。
# pip install scikit-learn
from sklearn.metrics import classification_report, confusion_matrix
pred = [classify(t)["label"] for t in texts]
print(classification_report(gold, pred, labels=LABELS, digits=3))
print(confusion_matrix(gold, pred, labels=LABELS))
プロンプトやモデルを変えるたびに、同じセットを再実行してください。固定のテストセットの維持については、乗り換え前の LLM の評価方法で解説しています。
大量に分類するにはどうしますか?
分類は入力が中心です。長いシステムプロンプト、短いメッセージ、そして 1 語の回答。重要なレバーは 3 つあります。
**メッセージをリクエストごとにまとめる。**BroadNet の従量課金キーは 1 分あたり 30 リクエスト、同時実行 4 件までです。1 リクエストに 1 件なら、キー 1 つで 1 分あたり 30 件、1 日ではその 1,440 倍が上限です。短いメッセージ 20 件を番号付きリストとして送り、20 件分の結果を JSON 配列で求めれば、同じレート制限で 20 倍のメッセージを処理できます。配列の長さが一致しているか、各項目に番号が付いているかを確認してください。
**プロンプトのプレフィックスを同一に保つ。**システムプロンプトと例は、どの呼び出しでも同じです。それらを先頭に、メッセージを最後に置けば、キャッシュから読み込まれてキャッシュ入力の料金になります。たとえば Qwen3.8 27B では、100 万トークンあたり $0.175 ではなく $0.0435 です。プレフィックスがキャッシュされるプロンプトの構成方法。
**出力を短く保つ。**出力トークンは入力より高価です。ラベルと短い引用で十分で、モデルを信頼できるようになったら根拠のフィールドは外してかまいません。
アラビア語は通常、英語より 1 語あたりのトークンが多いので、アラビア語トークンカウンターでメッセージのサンプルを数え、LLM API コスト計算ツールで月額を見積もってください。
避けるべき失敗は何ですか?
- **英語の翻訳でテストする。**翻訳文は、顧客の実際の書き方ではありません。
- **すべての方言で 1 つのスコアにする。**方言ごとに報告してください。
- **逃げ道のラベルがない。**すべてのメッセージを実際のラベルに押し込むと、誤りが増えます。
- 自由記述の回答。「否定的なようです」はパースできません。JSON を求めて検証してください。
- 皮肉を無視する。“ما شاء الله، ثالث مرة يتأخر الطلب”(さすがですね、注文が遅れるのはこれで 3 回目です)は単語ごとに見ると肯定的ですが、苦情です。このような例をプロンプトに入れてください。
LLM が分類器として不適切なのはどんなときですか?
ラベルが安定していて、すでに数千件のラベル付きの例があり、件数が数百万に達するなら、ファインチューニングしたアラビア語のエンコーダーモデルのほうが通常はメッセージあたりのコストが安く、GPTAraEval によれば、より正確な場合もあります。待てる大規模なオフライン処理では、Batch API のあるプロバイダーのほうが安いこともあります。OpenAI は、24 時間以内に完了するバッチ処理に 50% の割引をうたっています。BroadNet には Batch API がありません。よくあるパターンは、最初の数千件を LLM でラベル付けし、人手で確認し、その結果で小さなモデルを学習させるというものです。
BroadNet Inference の位置づけ
BroadNet は、アラビア語でテスト済みのモデル(Qwen3.8 27B)、初回クレジットで使える安価なモデル(Gemma 4 VL 26B)、定額のオプション(DeepSeek V4.1 Flash)を 1 つの OpenAI 互換キーで提供しており、リクエスト後にメッセージの内容を保持しません。学習パイプラインを作らずにアラビア語のメッセージを分類したいサポートチームに向いています。バッチ割引やファインチューニングしたモデルのほうが安くなる、非常に大規模なオフライン処理には向いていません。上記のプロンプト、200 件のテスト、そしてテストセットの作り方を解説した湾岸・エジプト・レバント方言の記事から始めてください。
