BroadRouter
Bắt đầu

Top-p (nucleus sampling)

Cập nhật

Top-p, còn gọi là nucleus sampling, là phương pháp giải mã trong đó model ngôn ngữ chỉ lấy mẫu token tiếp theo từ tập nhỏ nhất gồm các token khả năng cao nhất có tổng xác suất đạt ngưỡng p, ví dụ 0,9, và bỏ phần đuôi ít khả năng.

Còn gọi là: top-p là gì, tham số top_p, lấy mẫu top-p, lấy mẫu hạt nhân, nucleus sampling, top_p, top-p sampling

Top-p quyết định token nào được vào vòng bốc thăm trước khi model chọn một token.

Cách hoạt động

Holtzman và cộng sự giới thiệu nucleus sampling năm 2019. Họ định nghĩa bộ từ vựng top-p là tập token nhỏ nhất có xác suất cộng dồn ít nhất bằng p. Mọi token nằm ngoài tập đó có xác suất bằng 0. Các token còn lại được chuẩn hóa lại để tổng bằng 1, và token tiếp theo được lấy mẫu từ chúng. Các kết quả chính của bài báo dùng p = 0,95.

Kích thước tập này thay đổi ở mỗi bước:

Phân phối token tiếp theo Số token giữ lại với p = 0,9
Một token ở 0,95 1
Bốn token ở 0,3; 0,3; 0,2; 0,15 4
Phân bố dài và phẳng nhiều

Đó chính là ý nghĩa của phương pháp. Bài báo lập luận rằng “less reliable tail” (Bản dịch: phần đuôi kém tin cậy hơn) của phân phối gây ra văn bản thoái hóa, và cắt nó đi cho đầu ra đa dạng mà không mất mạch lạc. Top-k cố định không thích ứng được như vậy: nó giữ cùng một số lượng dù model chắc chắn hay phân vân.

Trong API của OpenAI, top_p mặc định là 1, nghĩa là không cắt gì. Tài liệu tham chiếu đưa ví dụ “0.1 means only the tokens comprising the top 10% probability mass are considered.” (Bản dịch: 0.1 nghĩa là chỉ xét các token tạo nên 10% khối xác suất cao nhất). Hugging Face Transformers cũng mặc định 1.0 trừ khi generation_config.json của model đặt giá trị khác.

Vì sao quan trọng

  • Ít token kỳ lạ hơn. Cắt phần đuôi loại bỏ những lựa chọn hiếm làm văn bản lạc hướng, điều quan trọng với câu trả lời dài và với rủi ro ảo giác.
  • Tương tác với temperature. Temperature được áp lên điểm số; sau đó top-p cắt kết quả. Chỉnh cả hai cùng lúc khiến hành vi khó đoán, vì vậy OpenAI khuyên chỉ đổi một.
  • Gỡ lỗi. Nếu logprobs cho thấy model đã chọn một token xác suất thấp, một top-p thấp hơn đã chặn được nó.

Top-p không thay đổi giá. Mọi token được sinh ra đều tính phí như nhau.

Trên BroadNet Inference

Tài liệu tham chiếu API của BroadNet không ghi top_p, top_k hay giá trị mặc định của chúng. Các ví dụ request cũng không đặt tham số nào trong hai. SDK OpenAI sẽ chuyển top_p đi, nhưng việc từng model có áp dụng nó không thì không được nêu, nên hãy thử trên prompt của chính bạn trước khi dựa vào nó. Xem hướng dẫn Python SDK và bài viết về đánh giá model trước khi chuyển đổi, bài này giải thích vì sao phải cố định thiết lập lấy mẫu trong lúc so sánh.

Lỗi thường gặp

  • Chỉnh top_p và temperature cùng lúc, rồi không biết cái nào làm kết quả thay đổi.
  • Sao chép thiết lập lấy mẫu từ model này sang model khác. Giá trị khuyến nghị khác nhau theo model.

Câu hỏi thường gặp

Top-p khác temperature thế nào?

Temperature thay đổi hình dạng xác suất của mọi token. Top-p cắt bỏ phần đuôi ít khả năng rồi lấy mẫu từ phần còn lại. OpenAI khuyên chỉ chỉnh một trong hai, không chỉnh cả hai.

Top-p khác top-k thế nào?

Top-k giữ một số token cố định, ví dụ 50. Top-p giữ bao nhiêu token cũng được cho tới khi đạt ngưỡng xác suất, nên tập này nhỏ khi model chắc chắn và lớn khi model phân vân.

BroadNet có tài liệu về top_p không?

Không. Tài liệu tham chiếu API của BroadNet không liệt kê top_p hay giá trị mặc định của nó cho model nào. Hãy đặt nó trong request và tự kiểm tra tác dụng.

Đọc dạng MarkdownHỏi ChatGPTHỏi ClaudeHỏi Perplexity