Lấy mẫu ngẫu nhiên là có chủ đích. Seed cố định sự ngẫu nhiên đó để lần chạy lại có cơ hội khớp với lần đầu.
Cách hoạt động
Khi temperature lớn hơn 0, server bốc ngẫu nhiên từng token tiếp theo từ phân phối của model. Một bộ sinh số ngẫu nhiên điều khiển các lần bốc đó. Cố định giá trị khởi đầu của nó, tức seed, thì cùng một request sẽ đi qua cùng các lần bốc.
Tài liệu tham chiếu của OpenAI đánh dấu seed là Beta. Cookbook viết “our system will make a best effort to sample deterministically” (Bản dịch: hệ thống của chúng tôi sẽ cố gắng hết mức để lấy mẫu một cách tất định). Để có đầu ra khớp nhau, nó dặn giữ nguyên những thứ sau giữa các request:
- số nguyên
seed, - prompt và các message,
temperature, top_p vàmax_tokens.
Response có system_fingerprint, mà OpenAI nói là “represents the backend configuration that the model runs with” (Bản dịch: đại diện cho cấu hình backend mà model chạy cùng). Nếu nó thay đổi giữa hai lần chạy, hãy chờ đợi đầu ra khác nhau dù seed giống nhau.
r = client.chat.completions.create(
model=MODEL, seed=42, temperature=0.7,
messages=[{"role": "user", "content": "Name a colour."}],
)
print(r.choices[0].message.content, r.system_fingerprint)
Server cho model mở cũng có nút chỉnh này. SamplingParams của vLLM có seed, “Random seed to use for the generation” (Bản dịch: seed ngẫu nhiên dùng cho việc sinh), mặc định là không có (none).
Vì sao quan trọng
- Eval. Khi so sánh prompt hoặc model trong một eval, seed cố định giảm nhiễu giữa các lần chạy. Vẫn nên chạy nhiều mẫu; nỗ lực tối đa không phải là đảm bảo.
- Gỡ lỗi. Một request có seed giúp tái hiện câu trả lời lạ dễ hơn.
- Cache. Nếu bạn cache response, hãy đưa seed vào cache key, như bài viết về cache response làm.
Trên BroadNet Inference
Tài liệu tham chiếu API của BroadNet không ghi seed hay system_fingerprint. Hãy thử trước khi dựa vào nó: gửi cùng một request có seed năm lần và so sánh đầu ra. Nếu chúng khác nhau, hạ temperature, lưu lại những đầu ra bạn cần, và đánh giá trên nhiều mẫu thay vì một. Bài hướng dẫn chuyển đổi từng bước liệt kê seed trong số các trường OpenAI cần thử hoặc bỏ đi.
Lỗi thường gặp
- Coi seed là lời hứa về đầu ra giống hệt từng byte.
- Đổi max_tokens hoặc system prompt giữa các lần chạy rồi đổ lỗi cho seed về sự khác biệt.