BroadRouter
Mulai

Parameter seed

Diperbarui

Parameter seed adalah bilangan bulat yang Anda kirim bersama permintaan agar API berusaha mengambil sampel token yang sama saat permintaan yang sama diulang. OpenAI menyebutnya best effort: determinisme tidak dijamin, dan field system_fingerprint menunjukkan kapan konfigurasi backend berubah.

Disebut juga: seed, random seed, seed acak, output reproducible, output deterministik, reproducible outputs, deterministic outputs, system_fingerprint

Sampling memang sengaja acak. Seed mengunci keacakan itu sehingga eksekusi ulang punya peluang menyamai eksekusi pertama.

Cara kerjanya

Saat temperature di atas nol, server mengundi setiap token berikutnya secara acak dari distribusi model. Undian itu digerakkan oleh generator bilangan acak. Kunci nilai awalnya, yaitu seed, maka permintaan yang sama seharusnya menghasilkan undian yang sama.

Referensi OpenAI menandai seed sebagai Beta. Cookbook-nya menyebutkan “our system will make a best effort to sample deterministically” (terjemahan: sistem kami akan berusaha sebaik mungkin melakukan sampling secara deterministik). Untuk mendapatkan output yang sama, cookbook itu meminta hal-hal berikut tetap sama antarpermintaan:

  • bilangan bulat seed,
  • prompt dan pesan,
  • temperature, top_p, dan max_tokens.

Respons menyertakan system_fingerprint, yang menurut OpenAI “represents the backend configuration that the model runs with” (terjemahan: merepresentasikan konfigurasi backend tempat model berjalan). Jika nilainya berubah antara dua eksekusi, harapkan output berbeda meski seed-nya sama.

r = client.chat.completions.create(
    model=MODEL, seed=42, temperature=0.7,
    messages=[{"role": "user", "content": "Name a colour."}],
)
print(r.choices[0].message.content, r.system_fingerprint)

Server model terbuka punya pengaturan yang sama. SamplingParams milik vLLM memiliki seed, “Random seed to use for the generation” (terjemahan: seed acak yang dipakai untuk generasi), dengan default none.

Kenapa ini penting

  • Eval. Saat membandingkan prompt atau model dalam sebuah eval, seed yang tetap mengurangi noise antar eksekusi. Tetap jalankan beberapa sampel; best effort bukan jaminan.
  • Debugging. Permintaan ber-seed membuat balasan aneh lebih mudah direproduksi.
  • Caching. Jika Anda men-cache respons, masukkan seed ke dalam cache key, seperti di artikel caching respons.

Di BroadNet Inference

Referensi API BroadNet tidak mendokumentasikan seed atau system_fingerprint. Uji sebelum mengandalkannya: kirim permintaan ber-seed yang sama lima kali dan bandingkan output-nya. Jika berbeda, turunkan temperature, simpan output yang Anda perlukan, dan lakukan evaluasi pada beberapa sampel, bukan satu. Panduan migrasi mencantumkan seed di antara field OpenAI yang perlu diuji atau dihapus.

Kesalahan umum

  • Menganggap seed sebagai janji output yang identik byte demi byte.
  • Mengubah max_tokens atau system prompt antar eksekusi lalu menyalahkan seed atas perbedaannya.

Pertanyaan umum

Apakah seed yang sama selalu memberi jawaban yang sama?

Tidak. OpenAI menyatakan "Determinism is not guaranteed" (terjemahan: determinisme tidak dijamin) dan bahwa ada "a small chance that responses differ" (terjemahan: sedikit kemungkinan responsnya berbeda) bahkan saat parameter dan system_fingerprint sama.

Apakah temperature 0 sama dengan mengatur seed?

Tidak persis. Temperature rendah membuat token teratas sangat mungkin terpilih; seed mengunci undian acaknya. Banyak tim memakai keduanya, tetapi tidak satu pun yang menjamin output identik jika dipakai sendiri.

Apakah BroadNet Inference mendukung seed?

Referensi API BroadNet tidak mendokumentasikan seed atau system_fingerprint. Kirim permintaan ber-seed yang sama beberapa kali dan bandingkan hasilnya sebelum mengandalkannya.

Baca sebagai MarkdownTanya ChatGPTTanya ClaudeTanya Perplexity