모델이 무언가를 틀리면 사람들은 흔히 파인튜닝부터 떠올리지만, 그것이 틀린 선택인 경우가 많습니다. 파인튜닝에는 데이터 수집, 라벨링, 학습 실행, 그리고 이제 직접 유지 관리해야 하는 모델이라는 비용이 듭니다. 많은 실패는 더 명확한 프롬프트, 올바른 문서 검색, 출력에 대한 코드 검사로 사라집니다. 이 글은 어느 경우에 해당하는지 판단하는 법과, 정말 맞춤 모델이 필요할 때 무엇을 준비해야 하는지를 다룹니다.
해결하려는 문제는 무엇인가요?
해결책을 정하기 전에 실패부터 이름을 붙이세요. LLM의 실패는 대부분 몇 가지 패턴으로 나뉘며, 각각 더 저렴한 첫 단계가 있습니다.
| 증상 | 먼저 시도할 것 | 파인튜닝이 도움이 되는 경우 |
|---|---|---|
| 틀리거나 오래된 사실 | 자체 문서에 대한 검색(RAG) | 드뭅니다. 바뀌는 사실에는 어차피 검색이 필요합니다 |
| 잘못된 형식, 깨진 JSON | 구조화된 출력, 스키마 검사, 재시도 1회 | 형식이 특이해서 프롬프트 안의 예시로는 부족할 때 |
| 일관성 없는 라벨이나 분류 | 명확한 정의와 퓨샷 예시 | 라벨 종류가 많거나 미묘해서 예시가 프롬프트에 다 들어가지 않을 때 |
| 잘못된 어조나 스타일 | 예시를 포함한 시스템 프롬프트의 스타일 가이드 | 수천 건의 출력에서 사내 스타일을 유지해야 할 때 |
| 도메인 용어를 잘못 듣거나 틀리게 씀 | 프롬프트의 어휘 목록, 코드로 하는 사후 교정 | 음성 모델이 같은 이름, 코드, 숫자를 반복해서 잘못 들을 때 |
| 대규모에서 너무 느리거나 비쌈 | 더 작은 모델, 프롬프트 캐싱, 더 짧은 프롬프트 | 좁은 작업에서는 파인튜닝한 작은 모델이 큰 모델과 맞먹을 수 있을 때 |
| 잘못된 언어나 방언 | 올바른 언어로 쓴 지시. 아랍어 프롬프트 엔지니어링 참고 | 모델이 이해는 하지만 필요한 방언으로 쓰지 않을 때 |
OpenAI의 가이드도 같은 순서를 설명합니다. 먼저 평가를 작성하고, 프롬프트를 반복 개선한 다음, 일부 사용 사례에 대해 파인튜닝하라는 것입니다. 가이드는 프롬프트 엔지니어링 과정이 “may be all you need in order to get great results”(번역: 훌륭한 결과를 얻는 데 필요한 전부일 수 있다)라고 말합니다. 그리고 파인튜닝이 프롬프트보다 더해 주는 것을 나열합니다. 프롬프트 하나에 다 들어가지 않는 많은 예시, 토큰을 아끼는 더 짧은 프롬프트, 요청마다 보내고 싶지 않은 데이터로 하는 학습, 그리고 작은 모델을 한 가지 작업에 능숙하게 만드는 것입니다.
실패가 반복된다는 것을 어떻게 증명하나요?
평가 세트로 증명합니다. 모델 전환 전 LLM 평가하기에서처럼 정답을 아는 실제 입력 100~200개를 모으세요. 현재 프롬프트의 점수를 매기세요. 그런 다음 모든 실패에 wrong_label, missing_field, dialect, hallucinated_fact 같은 짧은 분류를 붙이세요.
어떤 패턴이 파인튜닝 후보가 되려면 세 가지가 모두 참이어야 합니다.
- 자주 일어납니다. 이상한 사례 한두 건이 아니라 실패의 의미 있는 비율을 차지합니다.
- 저렴한 해결책으로도 남습니다. 더 명확한 지시, 예시, 검색, 검증을 시도했는데도 그 분류가 여전히 남아 있습니다.
- 일관됩니다. 사람들이 정답에 동의합니다. 팀의 검토자 두 명이 같은 사례에 다른 라벨을 붙인다면, 그 라벨로 학습한 모델은 그 불일치를 배우게 됩니다.
결과는 짧은 문장으로 적어 두세요. 예를 들어(가상의 예시입니다) “200건짜리 아랍어 고객 지원 세트에서 최선의 프롬프트는 결제 티켓의 18%를 배송으로 잘못 분류하며, 퓨샷 예시로 15%까지 줄였다.” 이 문장이 파인튜닝의 요구 사항이자 넘어서야 할 수치입니다.
어떤 더 간단한 변경을 먼저 시험해야 하나요?
비용이 낮은 순서대로 실행하고, 하나를 할 때마다 다시 점수를 매기세요.
- 지시. 모든 라벨이나 필드를 정의하세요. 확신이 없을 때 어떻게 할지도 적으세요.
- 예시. 어려운 사례를 포함해 실제 예시 3~10개를 넣으세요.
- 검색. 답변에 사실이 필요하다면 관련 구절을 검색하세요. 선택지는 아랍어 RAG 검색과 긴 컨텍스트 vs RAG에서 다룹니다.
- 제약. 모델이 지원한다면 구조화된 출력을 쓰고, 출력을 코드로 검사하세요. 오류와 함께 한 번 다시 요청하세요.
- 다른 모델. 다른 기반 모델이 이미 필요한 일을 해낼 수도 있습니다. 같은 평가 세트로 한 시간이면 알 수 있습니다.
각 단계는 몇 주가 아니라 몇 시간이 걸리고, 그래도 파인튜닝이 필요하다면 파인튜닝이 넘어서야 할 더 나은 기준선을 남겨 줍니다.
어떤 데이터가 필요하고, 그 데이터를 쓸 권리가 있나요?
품질보다 먼저 권리를 확인하세요. 학습 데이터는 고객 대화, 문서, 통화 녹음에서 나오는 경우가 많습니다. 법적 근거가 필요하고, 학습을 포함하는 동의나 계약 조항이 필요한 경우도 많습니다. 자체 개인정보 처리방침과 고객 계약을 확인하고, 필요 없는 개인정보는 제거하세요. API 제공업체가 대신 데이터를 모아 준다고 가정하지 마세요. 예를 들어 BroadNet의 개인정보 정책에 따르면 BroadNet은 추론 콘텐츠를 보관하지 않으며 추론 데이터를 모델 학습, 파인튜닝, 평가에 쓰지 않습니다.
그다음 품질을 확인하세요. 이 스크립트는 일반적인 채팅 JSONL 형식(한 줄에 {"messages": [...]} 하나, 어시스턴트 답변으로 끝남)의 학습 파일과 평가 파일을 읽고, 파인튜닝을 조용히 망치는 문제를 보고합니다. 깨진 행, 중복, 같은 입력에 다른 답변, 학습에 유출된 평가 항목, 라벨 균형, 개인정보로 보이는 데이터입니다.
import json, re, sys
from collections import Counter
DIAC = re.compile(r"[ً-ٰٟـ]") # tashkeel, dagger alef, tatweel
PII = {"email": re.compile(r"[\w.+-]+@[\w-]+\.[\w.]+"),
"phone": re.compile(r"(?:\+|00)\d[\d\s-]{7,}\d")}
def norm(s: str) -> str:
s = DIAC.sub("", s.lower())
s = re.sub("[إأآٱ]", "ا", s).replace("ى", "ي")
return " ".join(s.split())
def load(path):
rows, errors = [], []
for i, line in enumerate(open(path, encoding="utf-8"), 1):
try:
ex = json.loads(line)
roles = [m["role"] for m in ex["messages"]]
if roles[-1] != "assistant" or "user" not in roles:
raise ValueError(f"roles {roles}")
rows.append(ex)
except (ValueError, KeyError, IndexError, TypeError) as e:
errors.append(f"line {i}: {e}")
return rows, errors
def key(ex): # the input side, normalised: what the model sees
return norm(" ".join(m["content"] for m in ex["messages"] if m["role"] != "assistant"))
def check(train_path, eval_path):
train, errs = load(train_path)
evals, eval_errs = load(eval_path)
keys = Counter(key(e) for e in train)
labels = Counter(e["messages"][-1]["content"].strip() for e in train)
leaked = {key(e) for e in evals} & set(keys)
pii = Counter(k for e in train for m in e["messages"] for k, rx in PII.items() if rx.search(m["content"]))
conflicts = Counter()
seen = {}
for e in train:
k, a = key(e), e["messages"][-1]["content"].strip()
if k in seen and seen[k] != a:
conflicts[k] += 1
seen.setdefault(k, a)
return {"train_examples": len(train), "parse_errors": errs + eval_errs,
"duplicate_inputs": sum(n - 1 for n in keys.values() if n > 1),
"same_input_different_answer": len(conflicts),
"eval_items_also_in_train": len(leaked),
"answer_distribution": labels.most_common(5),
"examples_with_possible_pii": dict(pii)}
if __name__ == "__main__":
print(json.dumps(check(sys.argv[1], sys.argv[2]), ensure_ascii=False, indent=1))
아랍어, 영어, 스페인어 고객 지원 티켓으로 된 7줄짜리 장난감 파일로 실행해 봤습니다. 어시스턴트 답변이 없는 행 1개, 중복 입력 2개(하나는 발음 구별 기호 하나만 달랐는데, 아랍어 텍스트 정규화에서처럼 정규화 함수가 이를 제거합니다), billing과 other로 동시에 라벨링된 입력 1개, 학습에도 나온 평가 항목 1개, 전화번호 1개를 찾았습니다. 하나하나가 모두 파인튜닝 결과를 실제보다 좋거나 나쁘게 보이게 했을 것입니다.
아랍어에서는 정규화가 중요합니다. 정규화하지 않으면 “متأخر”와 “متأخِّر”가 다른 입력으로 집계되고, 테스트 항목과 거의 같은 사본이 학습에 섞여 들어갈 수 있습니다.
파인튜닝 모델은 어떻게 공정하게 평가하나요?
기준선에 썼던 것과 같은 별도 테스트 세트를 쓰고, 학습에서는 계속 제외하세요. 그런 다음 비교하세요.
- 첫 프롬프트가 아니라 최선의 프롬프트와 비교. 약한 프롬프트를 이기는 파인튜닝은 아무것도 증명하지 못합니다.
- 분류별, 언어별로. 전체적인 향상 뒤에 영어는 좋아지고 아랍어는 떨어진 결과가 숨을 수 있습니다. 각각 보고하세요.
- 일반적인 동작에 대해. 모델이 전에는 잘 처리하던 평범한 요청 20~50개를 추가하세요. 좁은 학습은 작업 밖의 동작을 떨어뜨릴 수 있습니다.
- 비용과 지연 시간에 대해. 파인튜닝은 더 작은 모델이 일을 해내기 때문에 정당화되는 경우가 많습니다. 요청당 토큰과 시간도 측정하세요.
평가 글에서처럼 수치를 보기 전에 합격 기준을 정하세요. 예를 들어 “결제 라벨에서 최소 5포인트 향상, 2포인트 넘게 나빠진 분류 없음, 아랍어와 영어 모두 통과” 같은 것입니다.
호스팅 모델을 파인튜닝할 수 없다면 무엇이 달라지나요?
셀프서비스 파인튜닝을 제공하는 호스팅 API는 생각보다 적습니다. OpenAI의 지원 중단 페이지에는 셀프서비스 파인튜닝 플랫폼의 변경 사항이 기록되어 있습니다. 2026년 5월 7일부터는 파인튜닝을 실행한 적 없는 조직이 더 이상 작업을 만들 수 없습니다. 2026년 7월 2일부터는 지난 60일 동안 파인튜닝 모델로 추론을 실행하지 않은 조직도 마찬가지이며, 2027년 1월 6일부터는 활성 기존 고객도 새 파인튜닝 작업을 만들 수 없습니다. 기존 파인튜닝 모델은 기반 모델이 지원 중단될 때까지 추론에 계속 쓸 수 있습니다.
일반적인 대안은 LoRA 같은 파라미터 효율적 방법으로 학습한 오픈 웨이트 모델입니다. LoRA 논문(Hu 외)에 따르면, GPT-3 175B를 Adam으로 전체 파인튜닝하는 것과 비교해 LoRA는 학습 가능한 파라미터 수를 10,000배, GPU 메모리 요구량을 3배 줄일 수 있습니다. 그다음에는 결과를 서빙할 곳이 필요하며, 자체 하드웨어이거나 맞춤 가중치를 호스팅해 주는 제공업체입니다. 그 장단점은 오픈 웨이트 vs 비공개 모델에서 다룹니다.
BroadNet Inference의 역할
BroadRouter는 BroadNet의 자체 사이트입니다. BroadNet Inference의 셀프서비스 API에는 파인튜닝 엔드포인트가 없습니다. API 레퍼런스는 채팅 완성과 오디오 전사만 문서화합니다. 같은 페이지에는 “private endpoints, our Arabic fine-tunes and other models on request are reached with a private ID issued with the endpoint”(번역: 전용 엔드포인트, 당사의 아랍어 파인튜닝 모델, 기타 요청 시 제공 모델은 엔드포인트와 함께 발급되는 비공개 ID로 접근합니다)라고 적혀 있습니다. BroadNet의 모델 페이지는 잡음이 많은 오디오에서 숫자, 날짜, 이름을 위해 BroadNet이 파인튜닝한 Cohere Transcribe Arabic을 고객별 비공개 모델 ID와 함께 요청 시 제공 모델로 안내하며, Gemma 4 VL 26B는 “including our Arabic fine-tunes”(번역: 당사의 아랍어 파인튜닝 모델을 포함해) 전용 엔드포인트에서 이용할 수 있다고 밝힙니다. 이는 직접 구매하거나 학습할 수 있는 것이 아니라 문의 페이지를 통한 문의 대상이며, 무엇을 보내야 하는지는 전용 엔드포인트 계획하기에서 다룹니다.
그 단계 이전의 모든 작업에는 공개 모델로 충분히 평가 세트와 기준선을 만들 수 있습니다. Qwen3.8 27B와 GLM 5.3은 구조화된 출력을 문서화하고, Gemma 4 VL 26B는 $5 상당의 초기 크레딧으로 실행되며, BroadNet Transcribe Arabic은 분당 $0.0042 요금으로 음성을 처리합니다. 추론 콘텐츠는 보관되지 않으며, 필요한 계정, 결제, 보안 메타데이터는 BroadNet의 개인정보 정책에 설명된 대로 보관됩니다.
