Prompt bảo model phải làm gì mỗi lần. Fine-tuning thay đổi model để nó đã biết sẵn.
Cách hoạt động
Bạn bắt đầu từ một model đã huấn luyện và chạy huấn luyện thêm trên ví dụ của mình. Trong supervised fine-tuning (SFT), mỗi ví dụ là một đoạn hội thoại kèm câu trả lời bạn muốn. Hướng dẫn của OpenAI dùng JSONL, “one complete JSON structure on every line” (Bản dịch: mỗi dòng là một cấu trúc JSON hoàn chỉnh), theo định dạng chat:
{"messages": [{"role": "user", "content": "Classify: 'card charged twice'"}, {"role": "assistant", "content": "billing"}]}
Job huấn luyện điều chỉnh trọng số để những câu trả lời đó dễ xuất hiện hơn, và trả về một model ID mới. OpenAI đặt mức tối thiểu là 10 ví dụ và khuyên bắt đầu với 50, đánh giá rồi mới thêm.
Full fine-tuning cập nhật mọi trọng số, rất tốn kém với model lớn. Bài báo LoRA của Hu và cộng sự cho rằng việc triển khai các bản sao fine-tune riêng của GPT-3, “each with 175B parameters” (Bản dịch: mỗi bản 175B tham số), đắt đến mức không khả thi. Các phương pháp tiết kiệm tham số như LoRA thay vào đó chỉ huấn luyện một phần bổ sung nhỏ. Distillation là ý tưởng liên quan: fine-tune một model nhỏ trên đầu ra của một model lớn hơn.
Vì sao quan trọng
- Prompt ngắn hơn. Hành vi từng cần một prompt few-shot dài có thể chuyển vào trọng số, giảm token input mỗi lần gọi.
- Tính nhất quán. Phù hợp với phân loại, phong cách đầu ra cố định, dịch thuật chuyên ngành và sửa các lỗi không tuân theo chỉ dẫn.
- Bảo trì. Model đã tinh chỉnh gắn chặt với một model nền. Khi model nền bị khai tử, bạn phải huấn luyện lại. Hướng dẫn của OpenAI hiện cho biết họ đang thu hẹp dần nền tảng fine-tuning, không nhận người dùng mới, và các model đã tinh chỉnh được phục vụ cho tới khi model nền ngừng hoạt động.
- Đo lường trước. Hãy xây một bộ eval trước khi huấn luyện, nếu không bạn sẽ không biết model đã tinh chỉnh có tốt hơn không.
Fine-tuning là cách kém để thêm các dữ kiện hay thay đổi. Truy xuất giữ chúng luôn cập nhật.
Trên BroadNet Inference
Tài liệu tham chiếu API của BroadNet không mô tả API fine-tuning, job huấn luyện hay việc tải lên trọng số của riêng bạn. Tài liệu có nói rằng “our Arabic fine-tunes and other models on request” (Bản dịch: các bản fine-tune tiếng Ả Rập của chúng tôi và các model khác theo yêu cầu) được truy cập bằng một model ID riêng cấp kèm endpoint. BroadNet liệt kê một model như vậy theo yêu cầu: bản fine-tune của Cohere Transcribe Arabic cho số, ngày tháng và tên riêng trong audio nhiều nhiễu. Với model chép lời tiếng Ả Rập công khai, xem hướng dẫn chuyển giọng nói tiếng Ả Rập thành văn bản. Nếu cần tự huấn luyện, model trọng số mở là điểm xuất phát thường gặp; các đánh đổi có trong model trọng số mở so với model đóng.