모델 응답에 json.loads()를 호출했더니 JSONDecodeError: Expecting value: line 1 column 1이 납니다. 또는 파싱은 되는데 숫자여야 할 필드가 문자열로 들어옵니다. 이 글은 원인을 각각 안전하게 할 수 있는 조치에 따라 분류하고, 의미가 분명한 경우만 복구하는 검증된 Python 함수와, 재시도가 소용없을 때를 아는 재시도 루프를 보여 드립니다.
JSON 모드와 json_schema 중 무엇을 고를지는 JSON 모드와 json_schema 비교에서 다룹니다. 이 글은 실제로 받은 응답을 어떻게 처리할지에 관한 것입니다.
LLM은 왜 잘못된 JSON을 반환하나요?
모델은 텍스트를 한 번에 토큰 하나씩 씁니다. 서버가 디코딩을 제약하지 않는 한, 친절한 문장을 덧붙이거나 공간이 부족해지는 것을 막을 방법이 없습니다. 흔한 실패 유형은 다음과 같습니다.
| 보이는 현상 | 원인 | 코드로 안전하게 복구할 수 있나? |
|---|---|---|
```json … ``` 로 객체를 감쌈 |
채팅식 서식 습관 | 예: 펜스 제거 |
| 앞에 “Here is the JSON:”, 뒤에 “Let me know…” | 같은 습관 | 예: 첫 번째 값만 읽기 |
객체 앞의 <think>...</think> |
일부 서버에서 content 필드에 들어간 추론 텍스트 | 예: 블록 제거 |
| 문자열 중간에서 끝나고 괄호가 열린 채 남음 | max_tokens 도달 |
아니요: 여유를 늘려 다시 보내기 |
| 빈 content | 추론이 예산을 전부 사용 | 아니요: 여유를 늘려 다시 보내기 |
{"a": 1,} |
후행 쉼표. JavaScript는 허용하지만 RFC 8259는 허용하지 않음 | 예: 의미가 하나 |
{'a': True, 'b': None} |
Python 문법 | 예: ast.literal_eval로 안전하게 읽음 |
NaN, Infinity |
JSON이 아님. Python은 기본적으로 허용 | 아니요: 거부 |
| 유효한 JSON이지만 타입이 틀리거나 필드가 누락됨 | 스키마가 강제되지 않음 | 아니요: 오류를 담아 다시 요청 |
기준은 모호함입니다. 모델이 의도했을 수 있는 것이 정확히 하나라면 코드로 고치고 고쳤다는 사실을 로그에 남기세요. 추측해야 한다면 그 응답은 거부하세요.
잘린 JSON은 왜 복구하면 안 되나요?
복구된 결과가 맞아 보이지만 실제로는 틀리기 때문입니다. 널리 쓰이는 MIT 라이선스 라이브러리인 json_repair 0.64.9를 단어 중간에서 잘린 응답에 실행해 보았습니다.
'{"name": "Omar", "city": "Jed' -> {'name': 'Omar', 'city': 'Jed'}
도시가 “Jed”인 유효한 JSON이 반환되었습니다. README도 이 점을 숨기지 않습니다. 이 라이브러리는 “automatically completes missing values in JSON fields with reasonable defaults”(번역: JSON 필드의 누락된 값을 합리적인 기본값으로 자동 완성)합니다. 로그를 읽을 때는 유용합니다. 하지만 저장하거나 실제로 사용할 데이터에서는 눈에 보이는 실패를 조용한 실패로 바꿔 버립니다.
파싱하기 전에 finish_reason을 확인하세요. "length"는 응답이 max_tokens에 도달했다는 뜻입니다. 같은 요청을 같은 한도로 다시 보내면 똑같이 실패하므로, 한도를 두 배로 늘리거나 호출당 요청하는 양을 줄이세요. 추론 모델에서는 이런 일이 더 잦습니다. BroadNet의 API 레퍼런스에 따르면 DeepSeek V4.1 Flash, GLM 5.3, Qwen3.8 27B는 답하기 전에 추론하며, 그 추론이 max_tokens에 포함됩니다. 한도가 작으면 답변이 비어서 돌아올 수 있습니다. 1,000토큰 이상을 남겨 두거나 reasoning_effort를 low로 설정하세요. 구체적인 수치는 추론 예산 글에 있습니다.
안전한 경우만 고치는 복구 함수
표준 라이브러리만 사용합니다. 파싱된 값과 함께 수행한 복구 목록을 반환하므로, 복구 횟수를 집계할 수 있습니다.
import ast, json, re
class Truncated(Exception): pass
class NotJSON(Exception): pass
FENCE = re.compile(r"```(?:json|JSON)?\s*\n(.*?)```", re.S)
THINK = re.compile(r"<think>.*?</think>", re.S)
def _reject_constant(name): # NaN, Infinity: Python accepts them, JSON does not
raise NotJSON(f"non-standard constant {name}")
_decoder = json.JSONDecoder(parse_constant=_reject_constant)
def _first_value(s):
"""Decode the first JSON object or array in s, ignoring prose before and after it."""
for i, ch in enumerate(s):
if ch in "{[":
try:
return _decoder.raw_decode(s, i)[0]
except json.JSONDecodeError:
continue # a stray brace in prose; try the next one
raise NotJSON("no JSON object or array found")
def _scan(s):
"""Drop commas before } or ] outside strings; report brackets left open."""
out, stack, in_str, esc = [], [], False, False
for i, ch in enumerate(s):
if in_str:
if esc:
esc = False
elif ch == "\\":
esc = True
elif ch == '"':
in_str = False
elif ch == '"':
in_str = True
elif ch in "{[":
stack.append(ch)
elif ch in "}]" and stack:
stack.pop()
elif ch == ",":
rest = s[i + 1:].lstrip()
if rest[:1] in ("}", "]"):
continue # trailing comma: skip it
out.append(ch)
return "".join(out), len(stack) + (1 if in_str else 0)
def _python_literal(s):
"""Output in Python syntax: single quotes, True/False/None, trailing commas."""
start = min((i for i in (s.find("{"), s.find("[")) if i >= 0), default=-1)
end = max(s.rfind("}"), s.rfind("]"))
if start < 0 or end <= start:
raise NotJSON("no braces")
value = ast.literal_eval(s[start:end + 1]) # literals only; never runs code
if not isinstance(value, (dict, list)):
raise NotJSON("not an object or array")
json.dumps(value, allow_nan=False) # must round-trip as strict JSON
return value
def parse_llm_json(content, finish_reason=None):
"""Return (value, repairs). Raises Truncated or NotJSON."""
if finish_reason == "length":
raise Truncated("hit max_tokens; raise the limit or shorten the output")
if not content or not content.strip():
raise NotJSON("empty content (reasoning may have used the whole budget)")
repairs = []
s = content.strip().lstrip("\ufeff")
if THINK.search(s):
s = THINK.sub("", s).strip(); repairs.append("removed <think> block")
m = FENCE.search(s)
if m:
s = m.group(1).strip(); repairs.append("removed code fence")
try:
value = _decoder.decode(s)
return value, repairs
except json.JSONDecodeError:
pass
try:
value = _first_value(s); repairs.append("ignored text around JSON")
return value, repairs
except NotJSON:
pass
fixed, open_count = _scan(s)
if open_count:
raise NotJSON(f"incomplete JSON, {open_count} bracket(s) or string left open: treat as truncated")
if fixed != s:
try:
value = _first_value(fixed); repairs.append("removed trailing commas")
return value, repairs
except NotJSON:
pass
try:
value = _python_literal(s); repairs.append("parsed Python-style literal")
return value, repairs
except (ValueError, SyntaxError, TypeError, MemoryError, RecursionError, NotJSON) as e:
raise NotJSON(f"unrepairable: {e}") from None
각 단계의 동작은 다음과 같습니다.
- 잘림과 빈 응답은 파싱 전에 예외를 발생시키므로 절대 데이터가 되지 않습니다.
- 펜스와 추론 블록은 정규식 두 개로 제거합니다.
- **
raw_decode**가 핵심 도구입니다. Python 문서에 따르면 이 함수는 “from a string that may have extraneous data at the end”(번역: 끝에 불필요한 데이터가 있을 수 있는 문자열에서) 문서를 디코딩하고, 멈춘 위치를 반환합니다. 첫 번째{또는[에서 시작하므로 객체 앞의 문장은 건너뛰고 뒤의 문장은 무시합니다. 문장 속 중괄호에서 디코딩에 실패하면 다음 중괄호를 시도합니다. - 괄호 스캔은 문자열과 이스케이프를 추적하며 텍스트를 훑습니다. 괄호가 열린 채 남아 있으면
finish_reason이 그렇게 알려 주지 않았더라도 응답이 잘린 것이므로 예외를 발생시킵니다. 문자열 밖에서}또는]바로 앞에 있는 쉼표는 제거합니다. - **
ast.literal_eval**은 작은따옴표,True,None이 들어간 Python식 출력을 읽습니다. 리터럴만 평가하며 코드는 절대 실행하지 않습니다. 결과는 엄격한 JSON으로 직렬화될 수 있어야 합니다. - **
NaN과Infinity**는parse_constant를 통해 예외를 발생시킵니다. Python의json은 기본적으로 이를 허용하지만, RFC 8259는 이들이 “are not permitted”(번역: 허용되지 않는다)고 하며 JavaScript의JSON.parse도 거부합니다.
17개의 테스트 문자열로 실행해 보았습니다. 깨끗한 JSON, 펜스로 감싼 JSON, 펜스 안의 아랍어 키와 값, 앞뒤의 설명 문장, 객체 앞 문장 속의 {name} 플레이스홀더, <think> 블록, 객체와 배열의 후행 쉼표, 문자열 안의 쉼표와 괄호, 이스케이프된 따옴표, 백슬래시로 끝나는 Windows 경로, Python 리터럴, NaN, 빈 응답, finish_reason: "length"가 있거나 없는 잘린 응답, 연속된 두 객체입니다. 모두 위 표대로 동작했습니다. 한 테스트에서는 실제 버그를 잡았습니다. 초기 버전이 닫는 따옴표를 확인하기 전에 이스케이프 플래그를 뒤집는 바람에 "he said \"hi,]\""에서 쉼표가 사라졌습니다. 직접 만든 복구 코드도 이스케이프된 따옴표로 테스트하세요.
알아 두어야 할 한계가 두 가지 있습니다. 객체 두 개가 연속으로 오면 첫 번째를 반환합니다. 여러 항목이 필요하다면 JSON 배열 하나로 요청하세요. 또 문자열 안에 큰따옴표가 들어간 작은따옴표 Python 출력은 괄호 스캔이 잘못 읽어 거부할 수 있습니다. 거부는 안전한 실패입니다.
복구에 실패하면 어떻게 재시도해야 하나요?
복구는 형식을 다룹니다. 검증은 내용을 다룹니다. 올바른 필드, 올바른 타입, 타당한 값인지입니다. 이 루프는 jsonschema 패키지로 검증하고 원인에 따라 재시도 방법을 고릅니다.
import json, os
from jsonschema import Draft202012Validator
from openai import OpenAI
from llm_json import parse_llm_json, Truncated, NotJSON
client = OpenAI(base_url=os.environ.get("BASE_URL", "https://inference.broadnet.ai/v1"),
api_key=os.environ["BROADNET_API_KEY"])
SCHEMA = {"type": "object", "additionalProperties": False,
"required": ["name", "city", "amount"],
"properties": {"name": {"type": "string", "minLength": 1},
"city": {"type": ["string", "null"]},
"amount": {"type": "number", "minimum": 0}}}
validator = Draft202012Validator(SCHEMA)
def extract(text, model="broadnet/qwen3.8-27b", max_tokens=1500, attempts=3, log=print):
messages = [{"role": "system", "content": "Extract name, city and amount. Reply with one JSON object only, no code fence. "
"Schema: " + json.dumps(SCHEMA)},
{"role": "user", "content": text}]
for attempt in range(1, attempts + 1):
r = client.chat.completions.create(model=model, messages=messages, max_tokens=max_tokens,
reasoning_effort="low", temperature=0)
c = r.choices[0]
try:
value, repairs = parse_llm_json(c.message.content, c.finish_reason)
errors = [f"{'/'.join(map(str, e.path)) or '(root)'}: {e.message}" for e in validator.iter_errors(value)]
if not errors:
log({"attempt": attempt, "repairs": repairs, "ok": True})
return value
problem = "The JSON does not match the schema: " + "; ".join(errors)
except Truncated:
log({"attempt": attempt, "ok": False, "why": "truncated"})
max_tokens *= 2 # same prompt, more room; a re-ask would be cut off too
continue
except NotJSON as e:
problem = f"That reply was not valid JSON ({e})."
log({"attempt": attempt, "ok": False, "why": problem})
messages += [{"role": "assistant", "content": c.message.content or ""},
{"role": "user", "content": problem + " Return the corrected JSON object only."}]
raise RuntimeError(f"no valid JSON after {attempts} attempts")
이 루프의 규칙은 다음과 같습니다.
- 잘림: 같은 메시지를 한도를 두 배로 늘려 다시 보냅니다. “고쳐 주세요” 메시지를 추가하면 프롬프트만 길어지고 출력은 짧아지지 않습니다.
- JSON이 아니거나 형태가 틀림: 정확한 오류를 돌려보냅니다. “amount: ‘1200’ is not of type ‘number‘“는 모델에 고칠 구체적인 대상을 줍니다. 그냥 재시도하면 같은 실수를 반복하는 경우가 많습니다.
- 시도 횟수는 세 번으로 제한합니다. 재시도할 때마다 대화 전체가 입력 토큰으로 다시 전송됩니다. 세 번 실패하면 입력을 로그에 남기고 다른 경로로 넘기세요.
- 복구 목록을 로그에 남깁니다. 프롬프트를 바꾼 뒤 “removed code fence” 횟수가 늘어난다면, 실패한 것은 없더라도 프롬프트가 나빠졌다는 신호입니다.
이 루프를 미리 작성한 응답을 재생하는 로컬 모의 서버에서 실행했습니다. 후행 쉼표가 있고 "amount": "1200"이 문자열인 펜스 응답은 복구된 뒤 검증에 실패했고, 오류를 돌려보낸 두 번째 호출에서 고쳐졌습니다. finish_reason: "length"로 잘린 응답은 max_tokens를 1,500에서 3,000으로 늘려 다시 보냈고 성공했습니다. 모의 서버는 매번 요청을 기록했으며, 루프가 보낸 메시지 수와 한도가 맞는지 확인했습니다. 실제 모델은 다르게 실패할 수 있으므로, 수치를 믿기 전에 직접 가진 입력 100개로 실행해 보세요.
구조화된 출력을 쓰면 이 작업이 필요 없나요?
대부분은 없어집니다. 디코딩을 스키마에 맞게 제약하는 서버는 펜스, 후행 쉼표, 누락된 필드를 출력할 수 없습니다. 널리 쓰이는 오픈 모델 서버인 vLLM은 xgrammar 또는 guidance 백엔드로 이를 수행합니다. 그래도 두 가지 실패는 남습니다. max_tokens에서의 잘림과 거부입니다. OpenAI는 JSON 모드 출력이 “except for in some edge cases”(번역: 일부 예외적인 경우를 제외하고) 유효하며, 애플리케이션이 완전한 객체가 아닌 출력을 “must detect and handle”(번역: 감지하고 처리해야 한다)고 밝힙니다. 따라서 json_schema를 쓰더라도 finish_reason 확인과 검증기는 유지하세요.
각 방식이 막아 주는 것은 다음과 같습니다.
| 방식 | 펜스와 설명 문장 | 문법 오류 | 잘못된 형태 | 잘림 |
|---|---|---|---|---|
| 프롬프트만(“JSON으로 답하세요”) | 줄어듦 | 줄어듦 | 줄어듦 | 아니요 |
JSON 모드(json_object) |
예 | 예 | 아니요 | 아니요 |
구조화된 출력(json_schema, 강제 적용) |
예 | 예 | 예 | 아니요 |
JSON 모드에 대해 OpenAI는 메시지에서 “must always instruct the model to produce JSON”(번역: 항상 모델에 JSON을 생성하라고 지시해야 한다)고도 말합니다. 그렇지 않으면 토큰 한도에 도달할 때까지 공백을 출력할 수 있습니다. 다른 OpenAI 호환 서버는 동작이 제각각이므로, 실제로 배포할 모델에서 모드를 테스트하세요. 테스트 방법은 구조화된 출력 글에 있습니다.
응답을 직접 확인하려면 LLM JSON 출력 검증기에 붙여 넣거나, JSON 스키마 생성기로 샘플 객체에서 엄격한 스키마를 만드세요.
BroadNet Inference는 어디에 적합한가요?
BroadRouter는 BroadNet의 사이트입니다. BroadNet API 레퍼런스는 GLM 5.3과 Qwen3.8 27B에만 구조화된 출력을 표시하며 요청 파라미터 이름은 밝히지 않으므로, 의존하기 전에 해당 모델에서 json_schema를 테스트하세요. DeepSeek V4.1 Flash와 Gemma 4 VL 26B에서는 프롬프트만으로 JSON을 요청하고 위의 복구 함수와 검증기를 함께 쓰세요. 네 모델 중 세 모델은 답하기 전에 추론하므로 그만큼 max_tokens 예산을 잡으세요. 대량 추출이라면 배치 실행기 글에서 항목별로 finish_reason을 로그에 남기는 방법을 볼 수 있습니다. 프롬프트와 응답은 각 요청 후에 보관되지 않습니다.
