Một model mắc kẹt trong vòng lặp sẽ lặp đi lặp lại cùng một cụm từ cho tới khi hết token. Penalty là một cách sửa thô được áp dụng lúc lấy mẫu.
Cách hoạt động
Trước khi bốc mỗi token tiếp theo, server điều chỉnh điểm của những token đã được sinh.
| Thiết lập | Tài liệu vLLM nói nó phạt gì | Phạm vi và mặc định |
|---|---|---|
presence_penalty |
Token “based on whether they appear in the generated text so far” (Bản dịch: dựa trên việc chúng có xuất hiện trong văn bản đã sinh tính đến lúc đó hay không) | OpenAI: -2.0 đến 2.0, mặc định 0 |
frequency_penalty |
Token “based on their frequency in the generated text so far” (Bản dịch: dựa trên tần suất của chúng trong văn bản đã sinh tính đến lúc đó) | OpenAI: -2.0 đến 2.0, mặc định 0 |
repetition_penalty |
Token “based on whether they appear in the prompt and the generated text so far” (Bản dịch: dựa trên việc chúng có xuất hiện trong prompt và văn bản đã sinh tính đến lúc đó hay không) | vLLM và Hugging Face: 1.0 nghĩa là không phạt |
Giá trị dương đẩy model tránh xa các token đã dùng; giá trị âm làm việc lặp dễ xảy ra hơn. OpenAI nói frequency penalty dương làm giảm “the model’s likelihood to repeat the same line verbatim” (Bản dịch: khả năng model lặp lại nguyên văn cùng một dòng), còn presence penalty dương làm tăng “the model’s likelihood to talk about new topics” (Bản dịch: khả năng model nói về chủ đề mới). Với repetition_penalty, vLLM nói giá trị trên 1 ưu tiên token mới, còn giá trị dưới 1 ưu tiên lặp lại. Tài liệu Hugging Face dẫn bài báo CTRL làm nguồn cho penalty này.
{"model": "...", "messages": [...], "frequency_penalty": 0.5, "presence_penalty": 0.3}
Vì sao quan trọng
- Vòng lặp trong đầu ra dài. Agent và bản tóm tắt dài có thể rơi vào lặp văn bản. Một penalty nhỏ có thể phá vòng lặp, và một giới hạn max_tokens cứng chặn thiệt hại.
- Tác dụng phụ. Penalty tác động lên token, không phải ý tưởng. Penalty mạnh có thể ngăn model dùng lại những từ nó cần, như tên biến trong code, một key JSON, hoặc một cái tên trong văn bản tiếng Ả Rập vốn được lặp lại có chủ đích. Bắt đầu từ 0 và thay đổi từng bước nhỏ.
- Chồng lấn với lấy mẫu. Temperature và top-p cũng thay đổi độ đa dạng. Khi thử, mỗi lần chỉ đổi một thiết lập.
Trên BroadNet Inference
Tài liệu tham chiếu API của BroadNet không ghi frequency_penalty, presence_penalty hay repetition_penalty. Hãy thử trước khi dựa vào chúng: gửi một prompt hay bị lặp, có và không có trường đó, rồi so sánh. Nếu việc lặp xuất hiện trong các lần chạy dài, hãy thử prompt rõ ràng hơn, giới hạn đầu ra thấp hơn, hoặc dừng lần chạy và tiếp tục từ một checkpoint; bài viết về chạy agent qua đêm trình bày cách làm này.
Lỗi thường gặp
- Đặt penalty cao để sửa một vấn đề của prompt. Việc lặp thường có nghĩa model không có điểm dừng rõ ràng.
- Dùng penalty cho structured output, nơi các key buộc phải lặp lại.