リクエストを送る前にトークン数を知っておくべき理由は 3 つあります。コンテキストウィンドウに収めるため、適切な max_tokens を決めるため、そしてコストを見積もるためです。正確な数はモデル自身のトークナイザーからしか得られません。精度の高い見積もりは校正から得られます。この記事では、実測値を使って両方の方法を説明します。
モデルによってトークン数が違うのはなぜですか?
トークナイザーは、テキストを固定の語彙から取った断片に分割します。モデルファミリーはそれぞれ独自のトークナイザーを学習させています。語彙が大きいほど、また特定の言語のデータを多く使って学習しているほど、その言語のトークン数は少なくなります。つまり「このプロンプトは何トークンか」の答えは、モデルごとに違います。
同じ短いカスタマーサービスのメッセージを 4 言語に訳したものと、小さな Python 関数、請求書の JSON オブジェクトを測定しました。OpenAI の数は tiktoken(GPT-4 世代の cl100k_base と GPT-4o 世代の o200k_base)によるものです。オープンモデルの数は、各ファミリーが Hugging Face で公開しているトークナイザーファイルを使い、チャットテンプレートを含めずに 2026 年 11 月 14 日に数えました。
| テキスト(同じ意味) | 文字数 | cl100k_base | o200k_base | DeepSeek V4.1 Flash | GLM 5.3 | Qwen3.8 27B | Gemma 4 |
|---|---|---|---|---|---|---|---|
| 英語、31 単語 | 173 | 37 | 37 | 37 | 38 | 39 | 39 |
| スペイン語 | 160 | 47 | 40 | 50 | 45 | 43 | 42 |
| アラビア語 | 142 | 102 | 46 | 55 | 58 | 48 | 49 |
| 中国語 | 54 | 51 | 37 | 34 | 35 | 36 | 38 |
| Python 関数 | 94 | 33 | 33 | 35 | 33 | 35 | 38 |
| 請求書 JSON | 140 | 59 | 60 | 63 | 60 | 72 | 72 |
各行のサンプルは 1 つだけなので、ベンチマークではなく例として見てください。それでも 3 つの教訓は成り立ちます。まず、トークナイザーの世代が効きます。アラビア語のテキストは cl100k_base から o200k_base で半分以下になりました。次に、オープンモデル同士でも違いがあります。同じアラビア語のテキストが 48〜58 トークン、JSON が 60〜72 トークンでした。そして、構造化されたコンテンツはどこでもトークン密度が高く、JSON はどのトークナイザーでも 1 トークンあたり約 2 文字でした。
無料のトークンカウンターや、DeepSeek、Qwen、GPT 向けのファミリー別カウンターで、自分のテキストでも同じことを試せます。プロンプトの修正でどれだけ減るかを見るには、プロンプトのトークン差分ツールで 2 つのバージョンを比べてください。アラビア語がなぜ特にトークンを多く使うのかは、長めのテキストで測ったアラビア語と英語の 1 単語あたりのトークン数で解説しています。
トークン数を正確に数えるには?
モデルのトークナイザーが公開されていれば、読み込んでローカルで数えます。OpenAI のモデルなら次のとおりです。
import tiktoken
enc = tiktoken.encoding_for_model("gpt-4o")
n = len(enc.encode(text))
オープンウェイトのモデルファミリーでは、トークナイザーはたいてい Hugging Face でモデルと一緒に公開されていて、AutoTokenizer.from_pretrained(...) で読み込めます。注意点が 2 つあります。チャットテンプレートがロールや区切りのためのトークンを追加すること、そして API プロバイダーがデプロイしているバージョンが公開ファイルと違う場合があることです。BroadNet の API リファレンスには、トークン数を数えるエンドポイントもモデルごとのトークナイザーも記載されていません。そのため公開トークナイザーで近い見積もりは得られますが、正確な数は呼び出し後の usage.prompt_tokens で確認します。
トークナイザーが非公開のとき、トークン数はどう見積もりますか?
モデルごとに一度校正し、その後はローカルで見積もります。
import os
from openai import OpenAI
client = OpenAI(base_url="https://inference.broadnet.ai/v1", api_key=os.environ["BROADNET_API_KEY"])
def prompt_tokens(model, text):
r = client.chat.completions.create(
model=model, max_tokens=1000, # room for reasoning on thinking models
messages=[{"role": "user", "content": text}],
)
return r.usage.prompt_tokens
def measure(model, samples: dict[str, list[str]]):
base = prompt_tokens(model, "hi") # chat-template overhead plus one short word
ratios = {}
for kind, texts in samples.items():
chars = toks = 0
for t in texts:
chars += len(t)
toks += prompt_tokens(model, t) - base
ratios[kind] = chars / toks
return ratios # e.g. {"english": 4.1, "arabic": 2.9, "json": 2.3}
def estimate(text, kind, ratios, overhead=10):
return int(len(text) / ratios[kind]) + overhead
コンテンツの種類ごとに、20 個以上の実際のサンプル(lorem ipsum ではなく、実際に使うプロンプト)を使ってください。1 単語だけのベースラインリクエストで、チャットテンプレートの固定オーバーヘッドを差し引きます。estimate はそれを overhead として足し戻すので、測定したベースラインの値を設定してください。BroadNet でいちばん安いモデルで校正するのは、実際にそのモデルを呼ぶ場合だけにしてください。Gemma 4 VL 26B の比率は DeepSeek V4.1 Flash には当てはまりません。画像も入力トークンとして課金され、大きな画像ほど多く使うので、解像度ごとに別途校正してください。
max_tokens とコンテキストにはどれくらい余裕を持たせるべきですか?
ウィンドウにはプロンプトと出力の両方が含まれます。推論モデルでは、出力に隠れた思考も含まれ、推論トークンとして報告されます。予算は次のように組みます。
- プロンプトの見積もり = 校正したトークン数 × 1.15(15% の安全マージン)。
- 回答の予算 = 許容する最長の回答。
- 推論の予算 = 思考するモデルでは最低 1,000 トークン。上限が小さいと空の回答が返ることがあるため、BroadNet のドキュメントは 1,000 以上、または
reasoning_effort: "low"を推奨しています。 - max_tokens = 回答の予算 + 推論の予算。
- 確認:プロンプトの見積もり + max_tokens ≤ コンテキストウィンドウ。収まらなければ、回答ではなくプロンプトを削ります。
公開されている料金ファイルによる、BroadNet Inference のコンテキストウィンドウは次のとおりです。
| モデル | コンテキストウィンドウ | 出力 16K、余裕 15% のときの実用的なプロンプト上限 |
|---|---|---|
| DeepSeek V4.1 Flash | 1,048,576 | 約 897,000 |
| GLM 5.3 | 1,048,576 | 約 897,000 |
| Qwen3.8 27B | 262,144 | 約 213,000 |
| Gemma 4 VL 26B | 32,768 | 約 14,000 |
上限の列は (ウィンドウ − 16,384) ÷ 1.15 を切り捨てた値です。16,384 を自分の max_tokens に置き換えてください。
トークン数の見積もりでよくある失敗は?
- トークンではなく単語を数える。「1 トークン = 0.75 単語」は英語の目安です。29 単語のアラビア語サンプルは、トークナイザーによって 46〜102 トークンでした。
- **ツールとシステムプロンプトを忘れる。**ツールのスキーマは JSON で、トークン密度が高めです。プロンプトの一部として数えてください。
- **黙って切り詰めてくれると思い込む。**古いメッセージを知らせずに捨てるツールもあります。BroadNet はコンテキストを削らないとしているので、サーバーに切ってもらうのではなく、送信前にサイズを確認してください。コンテキストウィンドウ計算ツールがこの確認をしてくれます。
- **履歴が伸びることを無視する。**チャットやエージェントのループでは、プロンプトはターンごとに長くなります。予算はセッションごとに一度ではなく、呼び出しのたびに確認してください。安定した履歴はキャッシュにも乗りやすくなります。キャッシュ向けのプロンプト構成を参照してください。
アラビア語を扱うなら、トークナイザーは自分のテキストでモデルを試すべき理由がもう 1 つ増えるということです。そのほかの点はアラビア語向け LLM の選び方にまとめています。トークン数を月額の請求に換算するには、リリース前に LLM API のコストを見積もる方法をご覧ください。
BroadNet Inference が向いている場面
BroadNet Inference はすべてのレスポンスで prompt_tokens、completion_tokens、そしてモデルが報告する場合はキャッシュトークンと推論トークンの数を返します。校正に必要なのはこれだけです。カウント用エンドポイントやモデルごとのトークナイザーは公開していないので、送信前の数はあくまで見積もりです。100 万トークンのモデルでの長いコンテキストの扱いはコンテキストウィンドウのガイドで、100 万トークンあたりの料金は料金ページで確認できます。
