モデルの返答に json.loads() を呼ぶと、JSONDecodeError: Expecting value: line 1 column 1 が出る。あるいはパースは通ったのに、数値のはずのフィールドが文字列になっている。この記事では、原因をそれぞれに対して安全にできることで分類し、曖昧さのないケースだけを直すテスト済みの Python 関数と、リトライしても無駄なときを見分けるリトライループを紹介します。
JSON モードと json_schema の選び方は、JSON モードと json_schema で解説しています。この記事で扱うのは、実際に受け取った返答をどう処理するかです。
LLM が不正な JSON を返すのはなぜですか?
モデルはテキストを 1 トークンずつ書きます。サーバーがデコードを制約しない限り、親切な一文を添えたり、途中で余地がなくなったりするのを止めるものはありません。よくある失敗は次のとおりです。
| 見えるもの | 原因 | コードで安全に直せるか |
|---|---|---|
```json … ``` でオブジェクトを囲む |
チャット向けの整形の癖 | 可:フェンスを除去 |
| 前に「Here is the JSON:」、後ろに「Let me know…」 | 同じ癖 | 可:最初の値だけを読む |
オブジェクトの前に <think>...</think> |
一部のサーバーで推論テキストが content フィールドに入る | 可:ブロックを削除 |
| 文字列の途中で終わり、括弧が開いたまま | max_tokens に到達 |
不可:余裕を増やして再送 |
| content が空 | 推論が予算をすべて使った | 不可:余裕を増やして再送 |
{"a": 1,} |
末尾のカンマ。JavaScript は許すが、RFC 8259 は許さない | 可:意味は 1 つ |
{'a': True, 'b': None} |
Python の構文 | 可:ast.literal_eval で安全に読める |
NaN、Infinity |
JSON ではない。Python はデフォルトで受け付ける | 不可:拒否 |
| 正しい JSON だが型が違う、フィールドが欠けている | スキーマが強制されていない | 不可:エラーを添えて再依頼 |
境界線は曖昧さです。モデルの意図が 1 つしかあり得ないなら、コードで直し、直したことをログに残します。推測が必要なら、その返答は拒否します。
途中で切れた JSON を修復しないのはなぜですか?
修復した結果が正しそうに見えて、実は間違っているからです。人気のある MIT ライセンスのライブラリ json_repair 0.64.9 で、単語の途中で切れた返答を処理してみました。
'{"name": "Omar", "city": "Jed' -> {'name': 'Omar', 'city': 'Jed'}
返ってきたのは、都市が “Jed” の正しい JSON でした。README もこの点を隠しておらず、“automatically completes missing values in JSON fields with reasonable defaults”(訳:JSON フィールドの欠けた値を妥当なデフォルト値で自動的に補う)と書いています。ログを読むには便利です。しかし保存したり処理に使ったりするデータでは、目に見える失敗を気づかれない失敗に変えてしまいます。
パースする前に finish_reason を確認してください。"length" は返答が max_tokens に達したことを意味します。同じ上限で同じリクエストを再送しても同じように失敗するので、上限を 2 倍にするか、1 回あたりの出力を減らします。推論モデルではこれがより起こりやすくなります。BroadNet の API リファレンスによると、DeepSeek V4.1 Flash、GLM 5.3、Qwen3.8 27B は回答前に推論し、推論は max_tokens に含まれます。上限が小さいと、回答が空で返ることがあります。1,000 トークン以上を空けるか、reasoning_effort を low にしてください。具体的な数字は推論の予算についての記事にあります。
安全なケースだけを直す修復関数
標準ライブラリだけを使います。パースした値と、行った修復のリストを返すので、件数を集計できます。
import ast, json, re
class Truncated(Exception): pass
class NotJSON(Exception): pass
FENCE = re.compile(r"```(?:json|JSON)?\s*\n(.*?)```", re.S)
THINK = re.compile(r"<think>.*?</think>", re.S)
def _reject_constant(name): # NaN, Infinity: Python accepts them, JSON does not
raise NotJSON(f"non-standard constant {name}")
_decoder = json.JSONDecoder(parse_constant=_reject_constant)
def _first_value(s):
"""Decode the first JSON object or array in s, ignoring prose before and after it."""
for i, ch in enumerate(s):
if ch in "{[":
try:
return _decoder.raw_decode(s, i)[0]
except json.JSONDecodeError:
continue # a stray brace in prose; try the next one
raise NotJSON("no JSON object or array found")
def _scan(s):
"""Drop commas before } or ] outside strings; report brackets left open."""
out, stack, in_str, esc = [], [], False, False
for i, ch in enumerate(s):
if in_str:
if esc:
esc = False
elif ch == "\\":
esc = True
elif ch == '"':
in_str = False
elif ch == '"':
in_str = True
elif ch in "{[":
stack.append(ch)
elif ch in "}]" and stack:
stack.pop()
elif ch == ",":
rest = s[i + 1:].lstrip()
if rest[:1] in ("}", "]"):
continue # trailing comma: skip it
out.append(ch)
return "".join(out), len(stack) + (1 if in_str else 0)
def _python_literal(s):
"""Output in Python syntax: single quotes, True/False/None, trailing commas."""
start = min((i for i in (s.find("{"), s.find("[")) if i >= 0), default=-1)
end = max(s.rfind("}"), s.rfind("]"))
if start < 0 or end <= start:
raise NotJSON("no braces")
value = ast.literal_eval(s[start:end + 1]) # literals only; never runs code
if not isinstance(value, (dict, list)):
raise NotJSON("not an object or array")
json.dumps(value, allow_nan=False) # must round-trip as strict JSON
return value
def parse_llm_json(content, finish_reason=None):
"""Return (value, repairs). Raises Truncated or NotJSON."""
if finish_reason == "length":
raise Truncated("hit max_tokens; raise the limit or shorten the output")
if not content or not content.strip():
raise NotJSON("empty content (reasoning may have used the whole budget)")
repairs = []
s = content.strip().lstrip("\ufeff")
if THINK.search(s):
s = THINK.sub("", s).strip(); repairs.append("removed <think> block")
m = FENCE.search(s)
if m:
s = m.group(1).strip(); repairs.append("removed code fence")
try:
value = _decoder.decode(s)
return value, repairs
except json.JSONDecodeError:
pass
try:
value = _first_value(s); repairs.append("ignored text around JSON")
return value, repairs
except NotJSON:
pass
fixed, open_count = _scan(s)
if open_count:
raise NotJSON(f"incomplete JSON, {open_count} bracket(s) or string left open: treat as truncated")
if fixed != s:
try:
value = _first_value(fixed); repairs.append("removed trailing commas")
return value, repairs
except NotJSON:
pass
try:
value = _python_literal(s); repairs.append("parsed Python-style literal")
return value, repairs
except (ValueError, SyntaxError, TypeError, MemoryError, RecursionError, NotJSON) as e:
raise NotJSON(f"unrepairable: {e}") from None
各ステップの働きは次のとおりです。
- 途中で切れた返答と空の返答は、パースの前に例外を出すので、データになることはありません。
- フェンスと推論ブロックは 2 つの正規表現で除去します。
raw_decodeが鍵になるツールです。Python のドキュメントによると、これは “from a string that may have extraneous data at the end”(訳:末尾に余分なデータがあるかもしれない文字列から)ドキュメントをデコードし、止まった位置を返します。最初の{か[から始めるので、オブジェクトの前の文章を飛ばし、後ろの文章を無視します。文章中の括弧でデコードに失敗したら、次の括弧を試します。- 括弧のスキャンは、文字列とエスケープを追跡しながらテキストを走査します。括弧が開いたままなら、
finish_reasonがそう言っていなくても返答は途中で切れているので、例外を出します。文字列の外で}や]の直前にあるカンマは削除します。 ast.literal_evalは、シングルクォート、True、Noneを使う Python 風の出力を読みます。評価するのはリテラルだけで、コードは決して実行しません。その結果は厳密な JSON としてシリアライズできる必要があります。NaNとInfinityはparse_constantを通じて例外になります。Python のjsonはデフォルトでこれらを受け付けますが、RFC 8259 は “are not permitted”(訳:許可されない)としており、JavaScript のJSON.parseも拒否します。
17 個のテスト文字列で動かしました。きれいな JSON、フェンス付きの JSON、フェンス内のアラビア語のキーと値、前後の文章、オブジェクトの前の文章にある {name} プレースホルダー、<think> ブロック、オブジェクトと配列の末尾のカンマ、文字列内のカンマと括弧、エスケープされた引用符、バックスラッシュで終わる Windows のパス、Python リテラル、NaN、空の返答、finish_reason: "length" があるものとないものの途切れた返答、そして 2 つ連続したオブジェクトです。どれも上の表のとおりに動きました。1 つのテストで実際のバグが見つかりました。初期のバージョンは、閉じ引用符を確認する前にエスケープフラグを反転させていたため、"he said \"hi,]\"" のカンマが消えていました。自分の修復コードも、エスケープされた引用符でテストしてください。
知っておくべき制限が 2 つあります。オブジェクトが 2 つ続く場合は最初のものを返します。複数の項目が必要なら、JSON 配列を 1 つ返すよう依頼してください。また、シングルクォートの Python 出力で文字列内にダブルクォートを含むものは、括弧のスキャンが誤読して拒否されることがあります。拒否は安全な失敗です。
修復に失敗したら、どうリトライすべきですか?
修復は形式を扱います。検証は内容を扱います。正しいフィールド、正しい型、妥当な値です。次のループは jsonschema パッケージで検証し、原因に応じてリトライの方法を選びます。
import json, os
from jsonschema import Draft202012Validator
from openai import OpenAI
from llm_json import parse_llm_json, Truncated, NotJSON
client = OpenAI(base_url=os.environ.get("BASE_URL", "https://inference.broadnet.ai/v1"),
api_key=os.environ["BROADNET_API_KEY"])
SCHEMA = {"type": "object", "additionalProperties": False,
"required": ["name", "city", "amount"],
"properties": {"name": {"type": "string", "minLength": 1},
"city": {"type": ["string", "null"]},
"amount": {"type": "number", "minimum": 0}}}
validator = Draft202012Validator(SCHEMA)
def extract(text, model="broadnet/qwen3.8-27b", max_tokens=1500, attempts=3, log=print):
messages = [{"role": "system", "content": "Extract name, city and amount. Reply with one JSON object only, no code fence. "
"Schema: " + json.dumps(SCHEMA)},
{"role": "user", "content": text}]
for attempt in range(1, attempts + 1):
r = client.chat.completions.create(model=model, messages=messages, max_tokens=max_tokens,
reasoning_effort="low", temperature=0)
c = r.choices[0]
try:
value, repairs = parse_llm_json(c.message.content, c.finish_reason)
errors = [f"{'/'.join(map(str, e.path)) or '(root)'}: {e.message}" for e in validator.iter_errors(value)]
if not errors:
log({"attempt": attempt, "repairs": repairs, "ok": True})
return value
problem = "The JSON does not match the schema: " + "; ".join(errors)
except Truncated:
log({"attempt": attempt, "ok": False, "why": "truncated"})
max_tokens *= 2 # same prompt, more room; a re-ask would be cut off too
continue
except NotJSON as e:
problem = f"That reply was not valid JSON ({e})."
log({"attempt": attempt, "ok": False, "why": problem})
messages += [{"role": "assistant", "content": c.message.content or ""},
{"role": "user", "content": problem + " Return the corrected JSON object only."}]
raise RuntimeError(f"no valid JSON after {attempts} attempts")
このループのルールは次のとおりです。
- 途中で切れた場合:同じメッセージを、上限を 2 倍にして再送します。「直してください」というメッセージを足すと、プロンプトが長くなるだけで、出力は短くなりません。
- JSON でない、または形が違う場合:正確なエラーを返します。「amount: ‘1200’ is not of type ‘number’」なら、モデルは何を直せばよいかが具体的にわかります。何も添えずにリトライすると、同じ間違いを繰り返しがちです。
- **試行は 3 回までにします。**リトライのたびに会話全体が入力トークンとして再送されます。3 回を超えたら、入力をログに残して別の処理に回します。
- **修復のリストをログに残します。**プロンプトを変えた後に「removed code fence」の件数が増えていれば、何も失敗していなくても、プロンプトが悪くなったことがわかります。
このループを、台本どおりの返答を再生するローカルのモックサーバーで動かしました。フェンス付きで末尾にカンマがあり、"amount": "1200" が文字列になっている返答は、修復されて検証に失敗し、エラーを返した 2 回目の呼び出しで直りました。finish_reason: "length" で途切れた返答は、max_tokens を 1,500 から 3,000 に上げて再送され、成功しました。モックは毎回リクエストを記録し、ループが送ったメッセージ数と上限を確認できました。実際のモデルは違う形で失敗することもあるので、数字を信用する前に、自分の入力 100 件で試してください。
構造化出力を使えば、これは不要になりますか?
ほとんどは不要になります。デコードをスキーマに制約するサーバーは、フェンスも末尾のカンマも欠けたフィールドも出力できません。オープンモデルでよく使われるサーバーの vLLM は、xgrammar または guidance バックエンドでこれを実現しています。それでも 2 つの失敗は残ります。max_tokens での途切れと、拒否です。OpenAI は、JSON モードの出力は “except for in some edge cases”(訳:一部の例外的なケースを除いて)正しいと述べ、完全なオブジェクトでない出力はアプリケーションが “must detect and handle”(訳:検出して処理しなければならない)としています。ですから json_schema を使う場合でも、finish_reason の確認と検証は残してください。
それぞれの方法で防げるもの:
| 方法 | フェンスと文章 | 構文エラー | 形の誤り | 途切れ |
|---|---|---|---|---|
| プロンプトのみ(「JSON で返答して」) | 減る | 減る | 減る | 防げない |
JSON モード(json_object) |
防げる | 防げる | 防げない | 防げない |
構造化出力(json_schema、強制あり) |
防げる | 防げる | 防げる | 防げない |
JSON モードについて OpenAI は、メッセージの中で “must always instruct the model to produce JSON”(訳:必ず JSON を出力するようモデルに指示しなければならない)とも述べています。そうしないと、トークン上限に達するまで空白を出し続けることがあります。ほかの OpenAI 互換サーバーは対応がまちまちなので、リリースするモデルでこのモードをテストしてください。テストの方法は構造化出力の記事にあります。
返答を手で確認するなら、LLM JSON 出力バリデーターに貼り付けるか、JSON スキーマジェネレーターでサンプルオブジェクトから厳密なスキーマを作ってください。
BroadNet Inference が向いている場面
BroadRouter は BroadNet のサイトです。BroadNet の API リファレンスで構造化出力が記載されているのは GLM 5.3 と Qwen3.8 27B だけで、リクエストのパラメーター名も書かれていません。頼る前に、そのモデルで json_schema をテストしてください。DeepSeek V4.1 Flash と Gemma 4 VL 26B では、プロンプトのみの JSON に上の修復関数と検証を組み合わせてください。4 モデルのうち 3 つは回答前に推論するので、その分の max_tokens を確保してください。大量の抽出には、項目ごとに finish_reason を記録する方法を示したバッチ実行の記事が参考になります。プロンプトと返答は、各リクエストの後に保持されません。
