Fine-tune thường là cách sửa đầu tiên người ta nghĩ đến khi model làm sai, và thường là cách sai. Nó tốn công thu thập dữ liệu, gán nhãn, các lần chạy huấn luyện, và một model mà giờ bạn phải tự bảo trì. Nhiều lỗi biến mất nhờ một prompt rõ ràng hơn, truy xuất đúng tài liệu, hoặc một bước kiểm tra đầu ra bằng code. Bài này giúp bạn xác định mình đang ở trường hợp nào, và cần chuẩn bị gì nếu thật sự cần một model tùy chỉnh.
Bạn đang cố giải quyết vấn đề gì?
Hãy gọi tên lỗi trước khi gọi tên cách sửa. Phần lớn lỗi của LLM rơi vào vài kiểu, và mỗi kiểu có một bước đầu tiên rẻ hơn:
| Triệu chứng | Thử trước | Fine-tune giúp ích khi |
|---|---|---|
| Thông tin sai hoặc lỗi thời | Truy xuất (RAG) trên tài liệu của bạn | Hiếm khi; thông tin thay đổi đằng nào cũng cần truy xuất |
| Sai định dạng, JSON hỏng | Structured output, kiểm tra schema, retry một lần | Định dạng khác thường và ví dụ trong prompt không đủ |
| Nhãn hoặc phân loại không nhất quán | Định nghĩa rõ ràng và ví dụ few-shot | Bộ nhãn lớn hoặc tinh tế và ví dụ không vừa trong prompt |
| Sai giọng điệu hoặc văn phong | Hướng dẫn văn phong trong system prompt, kèm ví dụ | Một văn phong riêng phải giữ vững qua hàng nghìn đầu ra |
| Từ chuyên ngành bị nghe sai hoặc viết sai | Danh sách từ vựng trong prompt, sửa lỗi sau bằng code | Model giọng nói nghe sai cùng một tên, mã hoặc con số lặp đi lặp lại |
| Quá chậm hoặc quá tốn khi chạy quy mô lớn | Model nhỏ hơn, prompt caching, prompt ngắn hơn | Một model nhỏ đã fine-tune có thể sánh ngang model lớn ở một tác vụ hẹp |
| Sai ngôn ngữ hoặc phương ngữ | Chỉ dẫn bằng đúng ngôn ngữ; xem prompt engineering tiếng Ả Rập | Model hiểu nhưng không chịu viết bằng phương ngữ bạn cần |
Chính hướng dẫn của OpenAI mô tả cùng thứ tự: viết bộ đánh giá trước, rồi lặp lại cải tiến prompt, và fine-tune cho một số trường hợp sử dụng. Hướng dẫn nói quá trình prompt engineering “may be all you need in order to get great results.” (bản dịch: có thể là tất cả những gì bạn cần để có kết quả tuyệt vời.) Nó liệt kê những gì fine-tune bổ sung so với prompt: nhiều ví dụ hơn mức vừa trong một prompt, prompt ngắn hơn để tiết kiệm token, huấn luyện trên dữ liệu bạn không muốn gửi trong mỗi request, và làm cho một model nhỏ hơn giỏi một tác vụ.
Làm sao chứng minh lỗi lặp lại?
Bằng một bộ đánh giá. Thu thập 100 đến 200 đầu vào thật có đầu ra đúng đã biết, như trong đánh giá LLM trước khi chuyển đổi. Chấm điểm prompt hiện tại. Sau đó gán cho mỗi lỗi một loại ngắn gọn: wrong_label, missing_field, dialect, hallucinated_fact, v.v.
Một kiểu lỗi chỉ là ứng viên cho fine-tune nếu cả ba điều sau đều đúng:
- Nó xảy ra thường xuyên. Nó chiếm một phần đáng kể trong các lỗi, không phải một hai trường hợp lạ.
- Nó còn tồn tại sau các cách sửa rẻ. Bạn đã thử chỉ dẫn rõ hơn, ví dụ, truy xuất và bước kiểm tra, mà loại lỗi đó vẫn còn.
- Nó nhất quán. Mọi người đồng ý về câu trả lời đúng. Nếu hai người duyệt của chính bạn gán nhãn khác nhau cho cùng một trường hợp, model huấn luyện trên nhãn của họ sẽ học luôn sự bất đồng đó.
Hãy ghi kết quả thành một câu ngắn, như ví dụ tự tạo sau: “Trên bộ 200 trường hợp hỗ trợ khách hàng tiếng Ả Rập của chúng tôi, prompt tốt nhất gán nhầm 18% phiếu thanh toán thành giao hàng; ví dụ few-shot giảm xuống 15%.” Câu đó là bản yêu cầu cho một lần fine-tune, và là con số cần vượt qua.
Nên thử những thay đổi đơn giản nào trước?
Chạy chúng theo thứ tự chi phí, và chấm điểm lại sau mỗi bước:
- Chỉ dẫn. Định nghĩa mọi nhãn hoặc trường. Nói rõ phải làm gì khi không chắc.
- Ví dụ. Thêm ba đến mười ví dụ thật, gồm cả các trường hợp khó.
- Truy xuất. Nếu câu trả lời cần thông tin, hãy truy xuất đoạn liên quan. Tìm kiếm RAG tiếng Ả Rập và context dài hay RAG nói về các lựa chọn.
- Ràng buộc. Dùng structured output khi model hỗ trợ, và kiểm tra đầu ra bằng code. Hỏi lại một lần kèm lỗi.
- Model khác. Một model nền khác có thể đã làm được điều bạn cần. Cùng bộ đánh giá sẽ cho bạn biết trong một giờ.
Mỗi bước tốn vài giờ, không phải vài tuần, và mỗi bước để lại cho bạn một điểm cơ sở tốt hơn mà bản fine-tune phải vượt qua nếu bạn vẫn cần nó.
Bạn cần dữ liệu gì, và có quyền sử dụng nó không?
Trước chất lượng, hãy kiểm tra quyền. Dữ liệu huấn luyện thường đến từ hội thoại với khách hàng, tài liệu hoặc bản ghi âm cuộc gọi. Bạn cần một cơ sở pháp lý và thường là sự đồng ý hoặc một điều khoản hợp đồng bao gồm việc huấn luyện. Hãy kiểm tra thông báo quyền riêng tư và hợp đồng khách hàng của bạn, và loại bỏ dữ liệu cá nhân bạn không cần. Đừng mặc định nhà cung cấp API đang thu thập dữ liệu hộ bạn: ví dụ, tuyên bố quyền riêng tư của BroadNet nói họ không lưu giữ nội dung inference và không dùng dữ liệu inference để huấn luyện, fine-tune hay đánh giá model.
Sau đó kiểm tra chất lượng. Script này đọc một file huấn luyện và một file đánh giá ở định dạng chat JSONL phổ biến (mỗi dòng một {"messages": [...]}, kết thúc bằng câu trả lời của assistant) và báo cáo những vấn đề âm thầm làm hỏng fine-tune: dòng bị lỗi, trùng lặp, cùng đầu vào nhưng khác câu trả lời, mục đánh giá lọt vào dữ liệu huấn luyện, cân bằng nhãn và dữ liệu có thể là cá nhân.
import json, re, sys
from collections import Counter
DIAC = re.compile(r"[ً-ٰٟـ]") # tashkeel, dagger alef, tatweel
PII = {"email": re.compile(r"[\w.+-]+@[\w-]+\.[\w.]+"),
"phone": re.compile(r"(?:\+|00)\d[\d\s-]{7,}\d")}
def norm(s: str) -> str:
s = DIAC.sub("", s.lower())
s = re.sub("[إأآٱ]", "ا", s).replace("ى", "ي")
return " ".join(s.split())
def load(path):
rows, errors = [], []
for i, line in enumerate(open(path, encoding="utf-8"), 1):
try:
ex = json.loads(line)
roles = [m["role"] for m in ex["messages"]]
if roles[-1] != "assistant" or "user" not in roles:
raise ValueError(f"roles {roles}")
rows.append(ex)
except (ValueError, KeyError, IndexError, TypeError) as e:
errors.append(f"line {i}: {e}")
return rows, errors
def key(ex): # the input side, normalised: what the model sees
return norm(" ".join(m["content"] for m in ex["messages"] if m["role"] != "assistant"))
def check(train_path, eval_path):
train, errs = load(train_path)
evals, eval_errs = load(eval_path)
keys = Counter(key(e) for e in train)
labels = Counter(e["messages"][-1]["content"].strip() for e in train)
leaked = {key(e) for e in evals} & set(keys)
pii = Counter(k for e in train for m in e["messages"] for k, rx in PII.items() if rx.search(m["content"]))
conflicts = Counter()
seen = {}
for e in train:
k, a = key(e), e["messages"][-1]["content"].strip()
if k in seen and seen[k] != a:
conflicts[k] += 1
seen.setdefault(k, a)
return {"train_examples": len(train), "parse_errors": errs + eval_errs,
"duplicate_inputs": sum(n - 1 for n in keys.values() if n > 1),
"same_input_different_answer": len(conflicts),
"eval_items_also_in_train": len(leaked),
"answer_distribution": labels.most_common(5),
"examples_with_possible_pii": dict(pii)}
if __name__ == "__main__":
print(json.dumps(check(sys.argv[1], sys.argv[2]), ensure_ascii=False, indent=1))
Chúng tôi đã chạy nó trên một file thử nghiệm bảy dòng gồm các phiếu hỗ trợ tiếng Ả Rập, tiếng Anh và tiếng Tây Ban Nha. Nó tìm ra một dòng không có câu trả lời của assistant, hai đầu vào trùng lặp (một cái chỉ khác nhau ở một dấu phụ, thứ mà hàm chuẩn hóa loại bỏ, như trong chuẩn hóa văn bản tiếng Ả Rập), một đầu vào được gán cả nhãn billing lẫn other, một mục đánh giá cũng xuất hiện trong dữ liệu huấn luyện, và một số điện thoại. Mỗi vấn đề đó đều có thể khiến bản fine-tune trông tốt hơn hoặc tệ hơn thực tế.
Chuẩn hóa rất quan trọng với tiếng Ả Rập. Không có nó, “متأخر” và “متأخِّر” bị tính là hai đầu vào khác nhau, và một bản gần như sao chép của một mục kiểm thử có thể lọt vào dữ liệu huấn luyện.
Đánh giá một bản fine-tune công bằng như thế nào?
Dùng chính tập kiểm thử giữ riêng mà bạn đã dùng cho điểm cơ sở, và giữ nó ngoài dữ liệu huấn luyện. Sau đó so sánh:
- Với prompt tốt nhất, không phải prompt đầu tiên. Một bản fine-tune thắng một prompt yếu thì chẳng chứng minh được gì.
- Theo từng loại và từng ngôn ngữ. Mức tăng tổng thể có thể che giấu việc tiếng Ả Rập giảm trong khi tiếng Anh cải thiện. Hãy báo cáo từng loại.
- Trên hành vi chung. Thêm 20 đến 50 request thông thường mà model trước đây xử lý tốt. Huấn luyện hẹp có thể làm giảm chất lượng ngoài tác vụ.
- Về chi phí và độ trễ. Fine-tune thường được biện minh bằng việc một model nhỏ hơn làm được việc. Hãy đo cả token và thời gian mỗi request.
Hãy quyết định quy tắc đạt trước khi nhìn thấy các con số, như trong bài về đánh giá: ví dụ, “tốt hơn ít nhất 5 điểm trên nhãn thanh toán, không loại nào tệ hơn quá 2 điểm, cả tiếng Ả Rập và tiếng Anh đều đạt.”
Điều gì thay đổi khi bạn không thể fine-tune model được host?
Số API được host cung cấp fine-tune tự phục vụ ít hơn bạn nghĩ. Trang deprecations của OpenAI ghi lại một cập nhật cho nền tảng fine-tune tự phục vụ của họ: từ ngày 7 tháng 5 năm 2026, các tổ chức chưa từng chạy fine-tune không thể tạo job nữa; từ ngày 2 tháng 7 năm 2026, các tổ chức không chạy inference trên model đã fine-tune trong 60 ngày qua cũng vậy; và từ ngày 6 tháng 1 năm 2027, các khách hàng hiện hữu đang hoạt động cũng không thể tạo job fine-tune mới. Các model đã fine-tune vẫn dùng được cho inference cho đến khi model nền của chúng bị ngừng.
Phương án thay thế thường gặp là một model open-weight được huấn luyện bằng một phương pháp tiết kiệm tham số như LoRA. Bài báo LoRA (Hu và cộng sự) cho biết, so với fine-tune toàn bộ GPT-3 175B bằng Adam, LoRA có thể giảm số tham số cần huấn luyện 10.000 lần và yêu cầu bộ nhớ GPU 3 lần. Sau đó bạn cần nơi để phục vụ kết quả, hoặc là phần cứng của bạn, hoặc là một nhà cung cấp host trọng số tùy chỉnh. Model open-weight hay model đóng nói về sự đánh đổi đó.
BroadNet Inference phù hợp ở đâu
BroadRouter là trang của chính BroadNet. API tự phục vụ của BroadNet Inference không có endpoint fine-tune: tài liệu tham chiếu API của họ chỉ mô tả chat completions và chép lời âm thanh. Cùng trang đó ghi “private endpoints, our Arabic fine-tunes and other models on request are reached with a private ID issued with the endpoint.” (bản dịch: endpoint riêng, các bản fine-tune tiếng Ả Rập của chúng tôi và các model khác theo yêu cầu được truy cập bằng một ID riêng cấp kèm endpoint.) Các trang model của BroadNet liệt kê một bản fine-tune Cohere Transcribe Arabic của BroadNet cho số, ngày và tên trong âm thanh nhiễu là theo yêu cầu, với model ID riêng cho từng khách hàng, và nói Gemma 4 VL 26B có trên endpoint riêng “including our Arabic fine-tunes” (bản dịch: bao gồm các bản fine-tune tiếng Ả Rập của chúng tôi). Đây là các yêu cầu gửi qua trang liên hệ, không phải thứ bạn có thể tự mua hay tự huấn luyện; lên kế hoạch endpoint riêng nói về những gì cần gửi.
Với mọi việc trước bước đó, các model công khai là đủ để xây bộ đánh giá và điểm cơ sở: Qwen3.8 27B và GLM 5.3 có tài liệu về structured output, Gemma 4 VL 26B chạy bằng $5 tín dụng ban đầu, và BroadNet Transcribe Arabic xử lý giọng nói với giá $0.0042 mỗi phút. Nội dung inference không được lưu giữ; các metadata cần thiết về tài khoản, thanh toán và bảo mật được lưu giữ như mô tả trong tuyên bố quyền riêng tư của BroadNet.
