프롬프트는 모델에게 매번 무엇을 할지 알려 줍니다. 파인튜닝은 모델을 바꿔서 이미 알고 있게 만듭니다.
작동 방식
학습된 모델에서 출발해 내 예시로 추가 학습을 돌립니다. 지도 파인튜닝(SFT)에서 각 예시는 원하는 답이 담긴 대화입니다. OpenAI 가이드는 채팅 형식의 JSONL, 즉 “one complete JSON structure on every line”(번역: 줄마다 완결된 JSON 구조 하나)을 씁니다.
{"messages": [{"role": "user", "content": "Classify: 'card charged twice'"}, {"role": "assistant", "content": "billing"}]}
학습 작업은 그런 답이 나올 확률이 높아지도록 가중치를 조정하고, 새 모델 ID를 돌려줍니다. OpenAI는 최소 10개의 예시를 요구하며, 50개로 시작해 평가한 뒤 더 추가하라고 권합니다.
전체 파인튜닝은 모든 가중치를 업데이트하므로 큰 모델에서는 비용이 큽니다. Hu 등의 LoRA 논문은 “each with 175B parameters”(번역: 각각 175B 파라미터인) GPT-3의 파인튜닝 사본을 따로따로 배포하는 것은 감당하기 어려울 만큼 비싸다고 말합니다. LoRA 같은 파라미터 효율적 방법은 대신 작은 추가 모듈을 학습시킵니다. 증류도 관련된 개념으로, 큰 모델의 출력으로 작은 모델을 파인튜닝합니다.
왜 중요한가
- 짧은 프롬프트. 긴 퓨샷 프롬프트가 필요했던 행동을 가중치로 옮겨 호출당 입력 토큰을 줄일 수 있습니다.
- 일관성. 분류, 고정된 출력 스타일, 도메인 번역, 지시 따르기 실패 교정에 잘 맞습니다.
- 유지 관리. 튜닝한 모델은 하나의 베이스 모델에 묶입니다. 베이스 모델이 종료되면 다시 학습해야 합니다. OpenAI 가이드는 이제 파인튜닝 플랫폼을 단계적으로 종료하고 있으며 신규 사용자는 받지 않고, 튜닝한 모델은 베이스 모델이 종료될 때까지 제공한다고 밝힙니다.
- 측정이 먼저. 학습 전에 eval을 만드세요. 그렇지 않으면 튜닝한 모델이 더 나은지 알 수 없습니다.
파인튜닝은 바뀌는 사실을 넣기에는 좋지 않은 방법입니다. 검색을 쓰면 사실을 최신 상태로 유지할 수 있습니다.
BroadNet Inference에서는
BroadNet의 API 레퍼런스에는 파인튜닝 API, 학습 작업, 자체 가중치 업로드가 문서화되어 있지 않습니다. 다만 “our Arabic fine-tunes and other models on request”(번역: 자사 아랍어 파인튜닝 모델과 요청 시 제공하는 기타 모델)는 엔드포인트와 함께 발급되는 전용 모델 ID로 접근한다고 밝힙니다. BroadNet은 문의 시 제공되는 모델 하나를 소개하는데, 잡음이 많은 오디오에서 숫자, 날짜, 이름을 잘 받아 적도록 Cohere Transcribe Arabic을 파인튜닝한 모델입니다. 공개된 아랍어 전사 모델은 아랍어 음성 인식 가이드를 참고하세요. 직접 학습해야 한다면 보통 오픈 웨이트 모델에서 시작합니다. 장단점은 오픈 웨이트 vs 클로즈드 모델에 정리되어 있습니다.