---
title: "送信前のトークン数計算：見積もり・余裕・言語差 | BroadRouter"
description: "LLM API を呼ぶ前に、言語とモデルごとにプロンプトのトークン数を見積もる方法。トークナイザーが違う理由、5 言語の実測例、安全な max_tokens の余裕を解説します。"
url: https://broadrouter.com/ja/blog/count-tokens-before-sending/
lang: ja
updated: 2026-11-14
publisher: BroadRouter (a BroadNet site); API by BroadNet Inference, https://inference.broadnet.ai
---

このページは英語の原文を AI の支援を受けて翻訳したものです。[英語の原文を読む](https://broadrouter.com/blog/count-tokens-before-sending/)（2026-11-16 更新）。

# LLM リクエストを送る前にトークン数を数える方法

BroadNet Inference チーム · 約 5 分で読めます · 公開日 2026-11-14 · 更新日 2026-11-16

モデルのトークナイザーが公開されていればそれで数え、非公開なら実リクエストの usage から言語・内容別に「1 トークンあたりの文字数」を校正します。10〜20% の余裕を足し、プロンプトと max\_tokens の合計がコンテキストウィンドウに収まるか確認します。思考するモデルでは推論トークンの分も空けます。

## 要点

-   トークナイザーはモデルごとに違います。私たちのテストでは、同じアラビア語の文が cl100k\_base で 102 トークン、o200k\_base で 46 トークン、オープンモデルのトークナイザーで 48〜58 トークンでした。
-   この短いテストでは、英語の文章はどのトークナイザーでも 1 トークンあたり約 4.5 文字でした。コード、JSON、そして非ラテン文字の多くは、1 文字あたりのトークン数が多くなります。
-   モデルのトークナイザーが非公開なら校正します。サンプルを送り、usage.prompt\_tokens を読み、言語とコンテンツの種類ごとに比率を保存します。
-   コンテキストウィンドウにはプロンプトと出力の両方が含まれます。予算はプロンプトだけでなく、プロンプト + max\_tokens + 余裕で組んでください。
-   推論モデルでは思考が max\_tokens に含まれます。BroadNet は 1,000 以上、または reasoning\_effort low を推奨しています。

**このページの内容**

1.  モデルによってトークン数が違うのはなぜですか？
2.  トークン数を正確に数えるには？
3.  トークナイザーが非公開のとき、トークン数はどう見積もりますか？
4.  max\_tokens とコンテキストにはどれくらい余裕を持たせるべきですか？
5.  トークン数の見積もりでよくある失敗は？
6.  BroadNet Inference が向いている場面

リクエストを送る前に[トークン](https://broadrouter.com/ja/glossary/token/)数を知っておくべき理由は 3 つあります。[コンテキストウィンドウ](https://broadrouter.com/ja/glossary/context-window/)に収めるため、適切な [max\_tokens](https://broadrouter.com/ja/glossary/max-tokens/) を決めるため、そしてコストを見積もるためです。正確な数はモデル自身のトークナイザーからしか得られません。精度の高い見積もりは校正から得られます。この記事では、実測値を使って両方の方法を説明します。

## モデルによってトークン数が違うのはなぜですか？

トークナイザーは、テキストを固定の語彙から取った断片に分割します。モデルファミリーはそれぞれ独自のトークナイザーを学習させています。語彙が大きいほど、また特定の言語のデータを多く使って学習しているほど、その言語のトークン数は少なくなります。つまり「このプロンプトは何トークンか」の答えは、モデルごとに違います。

同じ短いカスタマーサービスのメッセージを 4 言語に訳したものと、小さな Python 関数、請求書の JSON オブジェクトを測定しました。OpenAI の数は [tiktoken](https://github.com/openai/tiktoken)（GPT-4 世代の `cl100k_base` と GPT-4o 世代の `o200k_base`）によるものです。オープンモデルの数は、各ファミリーが Hugging Face で公開しているトークナイザーファイルを使い、チャットテンプレートを含めずに 2026 年 11 月 14 日に数えました。

| テキスト（同じ意味） | 文字数 | cl100k\_base | o200k\_base | DeepSeek V4.1 Flash | GLM 5.3 | Qwen3.8 27B | Gemma 4 |
| --- | --- | --- | --- | --- | --- | --- | --- |
| 英語、31 単語 | 173 | 37 | 37 | 37 | 38 | 39 | 39 |
| スペイン語 | 160 | 47 | 40 | 50 | 45 | 43 | 42 |
| アラビア語 | 142 | 102 | 46 | 55 | 58 | 48 | 49 |
| 中国語 | 54 | 51 | 37 | 34 | 35 | 36 | 38 |
| Python 関数 | 94 | 33 | 33 | 35 | 33 | 35 | 38 |
| 請求書 JSON | 140 | 59 | 60 | 63 | 60 | 72 | 72 |

各行のサンプルは 1 つだけなので、ベンチマークではなく例として見てください。それでも 3 つの教訓は成り立ちます。まず、トークナイザーの世代が効きます。アラビア語のテキストは `cl100k_base` から `o200k_base` で半分以下になりました。次に、オープンモデル同士でも違いがあります。同じアラビア語のテキストが 48〜58 トークン、JSON が 60〜72 トークンでした。そして、構造化されたコンテンツはどこでもトークン密度が高く、JSON はどのトークナイザーでも 1 トークンあたり約 2 文字でした。

無料の[トークンカウンター](https://broadrouter.com/tools/token-counter/)や、[DeepSeek](https://broadrouter.com/tools/deepseek-token-counter/)、[Qwen](https://broadrouter.com/tools/qwen-token-counter/)、[GPT](https://broadrouter.com/tools/gpt-token-counter/) 向けのファミリー別カウンターで、自分のテキストでも同じことを試せます。プロンプトの修正でどれだけ減るかを見るには、[プロンプトのトークン差分ツール](https://broadrouter.com/tools/prompt-token-diff/)で 2 つのバージョンを比べてください。アラビア語がなぜ特にトークンを多く使うのかは、長めのテキストで測った[アラビア語と英語の 1 単語あたりのトークン数](https://broadrouter.com/ja/blog/tokens-per-word-arabic-english/)で解説しています。

## トークン数を正確に数えるには？

モデルのトークナイザーが公開されていれば、読み込んでローカルで数えます。OpenAI のモデルなら次のとおりです。

```python
import tiktoken
enc = tiktoken.encoding_for_model("gpt-4o")
n = len(enc.encode(text))
```

オープンウェイトのモデルファミリーでは、トークナイザーはたいてい Hugging Face でモデルと一緒に公開されていて、`AutoTokenizer.from_pretrained(...)` で読み込めます。注意点が 2 つあります。チャットテンプレートがロールや区切りのためのトークンを追加すること、そして API プロバイダーがデプロイしているバージョンが公開ファイルと違う場合があることです。BroadNet の API リファレンスには、トークン数を数えるエンドポイントもモデルごとのトークナイザーも記載されていません。そのため公開トークナイザーで近い見積もりは得られますが、正確な数は呼び出し後の `usage.prompt_tokens` で確認します。

## トークナイザーが非公開のとき、トークン数はどう見積もりますか？

モデルごとに一度校正し、その後はローカルで見積もります。

```python
import os
from openai import OpenAI

client = OpenAI(base_url="https://inference.broadnet.ai/v1", api_key=os.environ["BROADNET_API_KEY"])

def prompt_tokens(model, text):
    r = client.chat.completions.create(
        model=model, max_tokens=1000,  # room for reasoning on thinking models
        messages=[{"role": "user", "content": text}],
    )
    return r.usage.prompt_tokens

def measure(model, samples: dict[str, list[str]]):
    base = prompt_tokens(model, "hi")  # chat-template overhead plus one short word
    ratios = {}
    for kind, texts in samples.items():
        chars = toks = 0
        for t in texts:
            chars += len(t)
            toks += prompt_tokens(model, t) - base
        ratios[kind] = chars / toks
    return ratios  # e.g. {"english": 4.1, "arabic": 2.9, "json": 2.3}

def estimate(text, kind, ratios, overhead=10):
    return int(len(text) / ratios[kind]) + overhead
```

コンテンツの種類ごとに、20 個以上の実際のサンプル（lorem ipsum ではなく、実際に使うプロンプト）を使ってください。1 単語だけのベースラインリクエストで、チャットテンプレートの固定オーバーヘッドを差し引きます。`estimate` はそれを `overhead` として足し戻すので、測定したベースラインの値を設定してください。BroadNet でいちばん安いモデルで校正するのは、実際にそのモデルを呼ぶ場合だけにしてください。[Gemma 4 VL 26B](https://broadrouter.com/ja/models/gemma-4-vl-26b/) の比率は [DeepSeek V4.1 Flash](https://broadrouter.com/ja/models/deepseek-v4.1-flash/) には当てはまりません。画像も入力トークンとして課金され、大きな画像ほど多く使うので、解像度ごとに別途校正してください。

## max\_tokens とコンテキストにはどれくらい余裕を持たせるべきですか？

ウィンドウにはプロンプト**と**出力の両方が含まれます。推論モデルでは、出力に隠れた思考も含まれ、[推論トークン](https://broadrouter.com/ja/glossary/reasoning-tokens/)として報告されます。予算は次のように組みます。

1.  **プロンプトの見積もり** = 校正したトークン数 × 1.15（15% の安全マージン）。
2.  **回答の予算** = 許容する最長の回答。
3.  **推論の予算** = 思考するモデルでは最低 1,000 トークン。上限が小さいと空の回答が返ることがあるため、BroadNet のドキュメントは 1,000 以上、または `reasoning_effort: "low"` を推奨しています。
4.  **max\_tokens** = 回答の予算 + 推論の予算。
5.  **確認**：プロンプトの見積もり + max\_tokens ≤ コンテキストウィンドウ。収まらなければ、回答ではなくプロンプトを削ります。

公開されている料金ファイルによる、BroadNet Inference のコンテキストウィンドウは次のとおりです。

| モデル | コンテキストウィンドウ | 出力 16K、余裕 15% のときの実用的なプロンプト上限 |
| --- | --- | --- |
| DeepSeek V4.1 Flash | 1,048,576 | 約 897,000 |
| [GLM 5.3](https://broadrouter.com/ja/models/glm-5.3/) | 1,048,576 | 約 897,000 |
| [Qwen3.8 27B](https://broadrouter.com/ja/models/qwen3.8-27b/) | 262,144 | 約 213,000 |
| Gemma 4 VL 26B | 32,768 | 約 14,000 |

上限の列は (ウィンドウ − 16,384) ÷ 1.15 を切り捨てた値です。16,384 を自分の max\_tokens に置き換えてください。

## トークン数の見積もりでよくある失敗は？

-   **トークンではなく単語を数える。**「1 トークン = 0.75 単語」は英語の目安です。29 単語のアラビア語サンプルは、トークナイザーによって 46〜102 トークンでした。
-   \*\*ツールとシステムプロンプトを忘れる。\*\*ツールのスキーマは JSON で、トークン密度が高めです。プロンプトの一部として数えてください。
-   \*\*黙って切り詰めてくれると思い込む。\*\*古いメッセージを知らせずに捨てるツールもあります。BroadNet はコンテキストを削らないとしているので、サーバーに切ってもらうのではなく、送信前にサイズを確認してください。[コンテキストウィンドウ計算ツール](https://broadrouter.com/tools/context-window-calculator/)がこの確認をしてくれます。
-   \*\*履歴が伸びることを無視する。\*\*チャットやエージェントのループでは、プロンプトはターンごとに長くなります。予算はセッションごとに一度ではなく、呼び出しのたびに確認してください。安定した履歴はキャッシュにも乗りやすくなります。[キャッシュ向けのプロンプト構成](https://broadrouter.com/ja/blog/prompt-structure-for-caching/)を参照してください。

アラビア語を扱うなら、トークナイザーは自分のテキストでモデルを試すべき理由がもう 1 つ増えるということです。そのほかの点は[アラビア語向け LLM の選び方](https://broadrouter.com/ja/blog/choosing-an-llm-for-arabic/)にまとめています。トークン数を月額の請求に換算するには、[リリース前に LLM API のコストを見積もる方法](https://broadrouter.com/ja/blog/estimate-llm-api-cost-before-launch/)をご覧ください。

## BroadNet Inference が向いている場面

BroadNet Inference はすべてのレスポンスで `prompt_tokens`、`completion_tokens`、そしてモデルが報告する場合はキャッシュトークンと推論トークンの数を返します。校正に必要なのはこれだけです。カウント用エンドポイントやモデルごとのトークナイザーは公開していないので、送信前の数はあくまで見積もりです。100 万トークンのモデルでの長いコンテキストの扱いは[コンテキストウィンドウのガイド](https://broadrouter.com/ja/blog/million-token-context-window-guide/)で、100 万トークンあたりの料金は[料金ページ](https://broadrouter.com/ja/pricing/)で確認できます。

関連する無料ツール（英語）

-   [OpenAI to BroadNet migration helper](https://broadrouter.com/tools/openai-to-broadnet-migration/) Paste OpenAI SDK code; get base URL, key and model edits, a diff and the checks that remain.
-   [max\_tokens calculator for reasoning models](https://broadrouter.com/tools/reasoning-token-budget/) Answer length + reasoning budget + margin = a max\_tokens that does not cut the answer off.
-   [JSON schema generator for LLM structured output](https://broadrouter.com/tools/json-schema-generator/) Sample JSON to strict schema, Pydantic, Zod and a ready request.
-   [LLM JSON output validator](https://broadrouter.com/tools/llm-json-output-validator/) Parse errors by line and column, safe repairs, cut-off detection and JSON Schema checks for model output.

[無料ツール（英語）](https://broadrouter.com/tools/)

## この記事の用語

[トークン（token）](https://broadrouter.com/ja/glossary/token/)

トークンとは、言語モデルが読み書きするテキストの単位です。モデルのトークナイザーが作る単語、単語の一部、句読点、バイト列のいずれかにあたります。LLM API は利用量をトークンで数え、上限を設け、通常はトークン単位で課金します。

[トークナイザー（tokenizer）](https://broadrouter.com/ja/glossary/tokenizer/)

トークナイザーとは、テキストを言語モデルが読む整数のトークン ID の列に変換し、生成された ID をテキストに戻す部品です。モデルごとに独自のトークナイザーがあるため、同じテキストでもモデルによってトークン数が変わります。

[ツール呼び出し（Function Calling、tool calling）](https://broadrouter.com/ja/glossary/tool-calling/)

ツール呼び出し（Function Calling とも呼ばれます）とは、開発者が定義した関数の実行を求める構造化されたリクエストを、モデルが JSON の引数付きで返す LLM API の機能です。関数を実行して結果を返すのはアプリケーションで、モデル自身がコードを実行することはありません。

[max\_tokens（最大出力トークン数）](https://broadrouter.com/ja/glossary/max-tokens/)

max\_tokens とは、モデルが 1 回の応答で生成できるトークン数の上限を決める LLM API のパラメーターです。生成が上限に達すると止まり、応答は途中で打ち切られたものとして、たとえば finish\_reason が "length" になります。

[オープンウェイトモデル（open-weight model）](https://broadrouter.com/ja/glossary/open-weight-model/)

オープンウェイトモデルとは、学習済みの重みが公開され、誰でもダウンロードして実行できるモデルで、通常は条件付きのライセンスで提供されます。学習コードや学習データの詳細も公開し、他者が検証・再現できる完全なオープンソース AI とは別物です。

[チャットテンプレート（chat template）](https://broadrouter.com/ja/glossary/chat-template/)

チャットテンプレートとは、ロール付きのメッセージのリストを、制御トークンも含めてモデルが想定する 1 本のトークン列に変換する書式ルールです。通常は Jinja で書かれ、トークナイザーと一緒に配布されます。誤ったテンプレートでは回答の質が大幅に落ちます。

[AI エージェント（AI agent）](https://broadrouter.com/ja/glossary/agent/)

AI エージェントとは、言語モデルが目標に向けて自分で手順を決めるシステムです。どのツールを呼ぶかを決め、結果を読み、最終回答を出すか上限に達するまで繰り返します。決まった箇所でモデルを呼ぶ固定のスクリプトは、ふつうワークフローと呼ばれます。

[キャッシュ入力トークン（cached input tokens）](https://broadrouter.com/ja/glossary/cached-input-tokens/)

キャッシュ入力トークンとは、LLM プロバイダーが直前に処理し、再計算せずにキャッシュから再利用できるプロンプトのトークンです。通常はシステムプロンプトやドキュメントなど繰り返し送るプレフィックスで、新しい入力トークンより安い単価で課金されます。

## よくある質問

### 1 単語は何トークンですか？

BroadRouter のトークナイザーデータセット（5 つのトークナイザーをまとめたもの。BroadNet の 4 つのチャットモデルのトークナイザーと OpenAI の o200k\_base で、記事の例の表には cl100k\_base も加えています）では、英語 1,000 単語は約 1,290 トークン、1 単語あたり約 1.29 トークンでした。よく使われる目安「1 トークン = 0.75 単語」は、英語の文章ならおおむね当たっています。アラビア語などの非ラテン文字やコードは、1 単語あたりのトークン数が多くなります。実際に呼び出すモデルで、自分のテキストを測ってください。

### DeepSeek、Qwen、Gemma のトークン数を tiktoken で数えられますか？

大まかな見積もりとしてだけ使えます。tiktoken が実装しているのは OpenAI のエンコーディングです。ほかのモデルファミリーは独自のトークナイザーを持ち、多くは Hugging Face で公開されていて、数え方が違います。usage フィールドで校正してください。

### DeepSeek、Qwen、GLM、Gemma のトークン数を数える無料ツールはありますか？

あります。BroadRouter の無料トークンカウンターは、これらのモデルファミリーが公開しているトークナイザーをブラウザ内で動かすので、テキストが手元のマシンから出ることはありません。チャットテンプレートで数トークン増えるため、結果は API が報告する値の見積もりとして扱ってください。

### プロンプトがコンテキストウィンドウより長いとどうなりますか？

ほとんどの API はエラーを返します。古いメッセージを黙って削るツールもあります。BroadNet はコンテキストを削らないので、送信前にプロンプトと max\_tokens の合計がウィンドウに収まるか確認してください。

### max\_tokens にはどれくらい余裕を持たせるべきですか？

想定される最長の回答を見積もり、思考するモデルなら推論の予算を足し、見積もり誤差に備えてウィンドウの 10〜20% を空けておきます。

## 続けて読む

-   [アラビア語と英語の 1 語あたりのトークン数：アラビア語が高くつく理由](https://broadrouter.com/ja/blog/tokens-per-word-arabic-english/)
-   [100 万トークンのコンテキストウィンドウが役立つとき（役立たないとき）](https://broadrouter.com/ja/blog/million-token-context-window-guide/)
-   [機能リリース前に LLM API のコストを見積もる方法](https://broadrouter.com/ja/blog/estimate-llm-api-cost-before-launch/)
-   [プレフィックスがキャッシュされるプロンプトの組み立て方](https://broadrouter.com/ja/blog/prompt-structure-for-caching/)
-   [プロンプトのトークンを減らす：システムプロンプト、ツール、データの実測](https://broadrouter.com/ja/blog/reduce-prompt-tokens/)
-   [BroadNet の GPU ハードウェアとサービング方式（BroadNet の説明による）](https://broadrouter.com/ja/blog/broadnet-gpu-fleet-and-serving/)
-   [LLM API のレスポンスをキャッシュしてコスト削減：Python の完全一致キャッシュ](https://broadrouter.com/ja/blog/cache-llm-responses-cut-cost/)
-   [ガイド：推論モデルが空の回答を返す理由](https://broadrouter.com/ja/guides/reasoning-tokens-empty-response/)
-   [ガイド：OpenAI Python SDK を BroadNet Inference で使う](https://broadrouter.com/ja/guides/openai-python-sdk/)

実際のワークロードで試してください。新規アカウントには US$5 の初回クレジットがあり、Gemma、文字起こし に使えます。DeepSeek、GLM、Qwen3.8 はチャージが必要です。

[始める](https://inference.broadnet.ai/account/?utm_source=broadrouter&utm_medium=referral&utm_campaign=ja-blog-count-tokens-before-sending&utm_content=page-cta) ·

**出典**

-   [tiktoken README：エンコーディングと 1 トークンあたり約 4 バイト（2026-11-14 取得）](https://github.com/openai/tiktoken)
-   [BroadNet Inference API リファレンス：max\_tokens と推論（2026-11-14 取得）（英語）](https://inference.broadnet.ai/docs?utm_source=broadrouter&utm_medium=referral&utm_campaign=ja-blog-count-tokens-before-sending&utm_content=sources)
-   [BroadNet Inference の機械可読な料金とコンテキスト長（pricing.json、2026-11-14 取得）（英語）](https://inference.broadnet.ai/pricing.json?utm_source=broadrouter&utm_medium=referral&utm_campaign=ja-blog-count-tokens-before-sending&utm_content=sources)
-   [Hugging Face Transformers：トークナイザーのドキュメント（2026-11-14 取得）](https://huggingface.co/docs/transformers/main_classes/tokenizer)
