BroadRouter

Frequency penalty và presence penalty

Cập nhật

Frequency penalty và presence penalty là các thiết lập lấy mẫu hạ điểm của những token đã có trong đầu ra. Presence penalty áp dụng một lần khi token đã xuất hiện; frequency penalty tăng dần theo mỗi lần lặp. Trong API của OpenAI, cả hai nằm trong khoảng -2.0 đến 2.0, mặc định là 0.

Còn gọi là: hình phạt tần suất, hình phạt hiện diện, phạt lặp từ, frequency penalty là gì, frequency penalty, presence penalty, frequency_penalty, presence_penalty, repetition penalty

Một model mắc kẹt trong vòng lặp sẽ lặp đi lặp lại cùng một cụm từ cho tới khi hết token. Penalty là một cách sửa thô được áp dụng lúc lấy mẫu.

Cách hoạt động

Trước khi bốc mỗi token tiếp theo, server điều chỉnh điểm của những token đã được sinh.

Thiết lập Tài liệu vLLM nói nó phạt gì Phạm vi và mặc định
presence_penalty Token “based on whether they appear in the generated text so far” (Bản dịch: dựa trên việc chúng có xuất hiện trong văn bản đã sinh tính đến lúc đó hay không) OpenAI: -2.0 đến 2.0, mặc định 0
frequency_penalty Token “based on their frequency in the generated text so far” (Bản dịch: dựa trên tần suất của chúng trong văn bản đã sinh tính đến lúc đó) OpenAI: -2.0 đến 2.0, mặc định 0
repetition_penalty Token “based on whether they appear in the prompt and the generated text so far” (Bản dịch: dựa trên việc chúng có xuất hiện trong prompt và văn bản đã sinh tính đến lúc đó hay không) vLLM và Hugging Face: 1.0 nghĩa là không phạt

Giá trị dương đẩy model tránh xa các token đã dùng; giá trị âm làm việc lặp dễ xảy ra hơn. OpenAI nói frequency penalty dương làm giảm “the model’s likelihood to repeat the same line verbatim” (Bản dịch: khả năng model lặp lại nguyên văn cùng một dòng), còn presence penalty dương làm tăng “the model’s likelihood to talk about new topics” (Bản dịch: khả năng model nói về chủ đề mới). Với repetition_penalty, vLLM nói giá trị trên 1 ưu tiên token mới, còn giá trị dưới 1 ưu tiên lặp lại. Tài liệu Hugging Face dẫn bài báo CTRL làm nguồn cho penalty này.

{"model": "...", "messages": [...], "frequency_penalty": 0.5, "presence_penalty": 0.3}

Vì sao quan trọng

  • Vòng lặp trong đầu ra dài. Agent và bản tóm tắt dài có thể rơi vào lặp văn bản. Một penalty nhỏ có thể phá vòng lặp, và một giới hạn max_tokens cứng chặn thiệt hại.
  • Tác dụng phụ. Penalty tác động lên token, không phải ý tưởng. Penalty mạnh có thể ngăn model dùng lại những từ nó cần, như tên biến trong code, một key JSON, hoặc một cái tên trong văn bản tiếng Ả Rập vốn được lặp lại có chủ đích. Bắt đầu từ 0 và thay đổi từng bước nhỏ.
  • Chồng lấn với lấy mẫu. Temperature và top-p cũng thay đổi độ đa dạng. Khi thử, mỗi lần chỉ đổi một thiết lập.

Trên BroadNet Inference

Tài liệu tham chiếu API của BroadNet không ghi frequency_penalty, presence_penalty hay repetition_penalty. Hãy thử trước khi dựa vào chúng: gửi một prompt hay bị lặp, có và không có trường đó, rồi so sánh. Nếu việc lặp xuất hiện trong các lần chạy dài, hãy thử prompt rõ ràng hơn, giới hạn đầu ra thấp hơn, hoặc dừng lần chạy và tiếp tục từ một checkpoint; bài viết về chạy agent qua đêm trình bày cách làm này.

Lỗi thường gặp

  • Đặt penalty cao để sửa một vấn đề của prompt. Việc lặp thường có nghĩa model không có điểm dừng rõ ràng.
  • Dùng penalty cho structured output, nơi các key buộc phải lặp lại.

Câu hỏi thường gặp

Frequency penalty và presence penalty khác nhau thế nào?

Presence penalty hỏi "token này đã xuất hiện chưa?" và áp dụng một lần. Frequency penalty hỏi "xuất hiện bao nhiêu lần?" và tăng theo mỗi lần lặp. vLLM mô tả chúng là phạt token theo việc token có xuất hiện không và theo tần suất của nó trong văn bản tính đến lúc đó.

repetition_penalty có phải cùng một thứ không?

Không. Đó là một hệ số nhân riêng mà vLLM và Hugging Face dùng, trong đó 1.0 nghĩa là không phạt. vLLM áp dụng nó cho token trong cả prompt và đầu ra, không chỉ đầu ra.

BroadNet Inference có hỗ trợ các penalty này không?

Tài liệu tham chiếu API của BroadNet không ghi frequency_penalty, presence_penalty hay repetition_penalty. Hãy thử trước khi dựa vào chúng.

Đọc dạng MarkdownHỏi ChatGPTHỏi ClaudeHỏi Perplexity