Top-p quyết định token nào được vào vòng bốc thăm trước khi model chọn một token.
Cách hoạt động
Holtzman và cộng sự giới thiệu nucleus sampling năm 2019. Họ định nghĩa bộ từ vựng top-p là tập token nhỏ nhất có xác suất cộng dồn ít nhất bằng p. Mọi token nằm ngoài tập đó có xác suất bằng 0. Các token còn lại được chuẩn hóa lại để tổng bằng 1, và token tiếp theo được lấy mẫu từ chúng. Các kết quả chính của bài báo dùng p = 0,95.
Kích thước tập này thay đổi ở mỗi bước:
| Phân phối token tiếp theo | Số token giữ lại với p = 0,9 |
|---|---|
| Một token ở 0,95 | 1 |
| Bốn token ở 0,3; 0,3; 0,2; 0,15 | 4 |
| Phân bố dài và phẳng | nhiều |
Đó chính là ý nghĩa của phương pháp. Bài báo lập luận rằng “less reliable tail” (Bản dịch: phần đuôi kém tin cậy hơn) của phân phối gây ra văn bản thoái hóa, và cắt nó đi cho đầu ra đa dạng mà không mất mạch lạc. Top-k cố định không thích ứng được như vậy: nó giữ cùng một số lượng dù model chắc chắn hay phân vân.
Trong API của OpenAI, top_p mặc định là 1, nghĩa là không cắt gì. Tài liệu tham chiếu đưa ví dụ “0.1 means only the tokens comprising the top 10% probability mass are considered.” (Bản dịch: 0.1 nghĩa là chỉ xét các token tạo nên 10% khối xác suất cao nhất). Hugging Face Transformers cũng mặc định 1.0 trừ khi generation_config.json của model đặt giá trị khác.
Vì sao quan trọng
- Ít token kỳ lạ hơn. Cắt phần đuôi loại bỏ những lựa chọn hiếm làm văn bản lạc hướng, điều quan trọng với câu trả lời dài và với rủi ro ảo giác.
- Tương tác với temperature. Temperature được áp lên điểm số; sau đó top-p cắt kết quả. Chỉnh cả hai cùng lúc khiến hành vi khó đoán, vì vậy OpenAI khuyên chỉ đổi một.
- Gỡ lỗi. Nếu logprobs cho thấy model đã chọn một token xác suất thấp, một top-p thấp hơn đã chặn được nó.
Top-p không thay đổi giá. Mọi token được sinh ra đều tính phí như nhau.
Trên BroadNet Inference
Tài liệu tham chiếu API của BroadNet không ghi top_p, top_k hay giá trị mặc định của chúng. Các ví dụ request cũng không đặt tham số nào trong hai. SDK OpenAI sẽ chuyển top_p đi, nhưng việc từng model có áp dụng nó không thì không được nêu, nên hãy thử trên prompt của chính bạn trước khi dựa vào nó. Xem hướng dẫn Python SDK và bài viết về đánh giá model trước khi chuyển đổi, bài này giải thích vì sao phải cố định thiết lập lấy mẫu trong lúc so sánh.
Lỗi thường gặp
- Chỉnh
top_pvà temperature cùng lúc, rồi không biết cái nào làm kết quả thay đổi. - Sao chép thiết lập lấy mẫu từ model này sang model khác. Giá trị khuyến nghị khác nhau theo model.