Untuk menilai LLM sebelum bertukar, jalankan kedua-dua model pada 50 hingga 200 prompt sebenar dengan hasil baik yang diketahui. Beri skor dengan semakan kod dahulu dan hakim LLM yang dinyahbias hanya jika kod tidak dapat memutuskan, log kos dan kependaman, dan tetapkan peraturan lulus lebih awal.
Perubahan kod itu sendiri kecil: dengan API serasi OpenAI ia hanyalah base URL dan ID model. Senarai semak migrasi merangkumi bahagian itu, dan senarai semak penyedia merangkumi harga, had dan privasi. Bahagian yang sukar ialah mengetahui sama ada model baharu sama baik untuk tugas anda. Papan pendahulu awam tidak menjawabnya; Artificial Analysis dan alternatifnya sesuai untuk membina senarai pendek. Set eval kecil yang dibina daripada trafik anda sendiri yang menjawabnya, dalam sehari dua kerja.
Bagaimanakah anda membina set eval daripada trafik sebenar?
- Tarik 300 hingga 1,000 permintaan terkini daripada log penggunaan anda, selepas penyuntingan data sensitif.
- Kumpulkan mengikut jenis tugas: pengekstrakan, pengelasan, peringkasan, balasan chat, suntingan kod, panggilan alat.
- Ambil sampel 10 hingga 40 bagi setiap jenis, lebih banyak untuk jenis yang bervolum tinggi atau berisiko tinggi. Masukkan prompt panjang, input bukan bahasa Inggeris dan kes yang diadukan pengguna.
- Tulis hasil yang dijangka bagi setiap satu: nilai tepat, skema, ujian yang mesti lulus, atau rubrik ringkas (“menyebut tempoh bayaran balik; tiada dasar rekaan”).
- Tag kes kritikal. Jumlah invois yang salah atau arahan yang terbocor tidak sama dengan nada yang sedikit kurang baik.
- Bekukan set itu dalam kawalan versi. Tambah kes apabila anda menemui kegagalan baharu, jangan sekali-kali padam kes supaya sesuatu model kelihatan lebih baik.
Semakan manakah patut dibuat oleh kod dan mana oleh hakim?
Gunakan semakan boleh dipercayai yang paling murah bagi setiap kes:
| Tugas | Semakan | Perlu hakim? |
|---|---|---|
| Pengekstrakan JSON | Berjaya dihurai, lulus skema, medan sama dengan jangkaan | Tidak |
| Pengelasan | Label sama dengan jangkaan | Tidak |
| Suntingan kod | Ujian lulus | Tidak |
| Panggilan alat | Fungsi betul, argumen lulus pengesahan | Tidak |
| Ringkasan | Mengandungi fakta yang diperlukan; tiada fakta yang tiada dalam sumber | Kadangkala |
| Balasan chat, nada, kebergunaan | Rubrik | Ya |
Semakan deterministik adalah percuma, boleh diulang dan mustahil dibodek, jadi alihkan sebanyak mungkin kes kepada semakan kod.
Apakah yang boleh menjadi salah dengan LLM sebagai hakim?
LLM sebagai hakim ialah model yang menilai jawapan model lain berdasarkan rubrik. Kajian MT-Bench (Zheng et al.) mendapati hakim yang kuat bersetuju dengan keutamaan manusia lebih 80% masa, lebih kurang sekerap manusia bersetuju sesama sendiri. Kertas yang sama menamakan bias yang perlu anda tangani dalam reka bentuk:
| Bias | Apa yang berlaku | Mitigasi |
|---|---|---|
| Kedudukan | Lebih suka jawapan pertama (atau kedua) yang ditunjukkan | Nilai setiap pasangan dua kali, susunan ditukar; kira kemenangan hanya jika kedua-duanya bersetuju |
| Panjang jawapan | Lebih suka jawapan yang lebih panjang | Rubrik yang memberi ganjaran kepada ketepatan dan keringkasan; hadkan panjang dalam prompt |
| Keutamaan diri | Lebih suka jawapan dalam gayanya sendiri | Hakim daripada keluarga model yang berbeza daripada kedua-dua calon |
| Penaakulan lemah | Terlepas ralat dalam matematik atau kod | Gunakan semakan kod untuk kes tersebut |
Dua lagi peraturan daripada amalan. Pinkan hakim: versi model yang sama, prompt yang sama, temperature 0, sepanjang perbandingan. Dan kalibrasikannya: labelkan 30 hingga 50 pasangan sendiri, jalankan hakim padanya, dan percayainya hanya jika ia kebanyakan masa bersetuju dengan anda. Panduan penilai Arize memberikan nasihat yang sama (“Collect 20–100 examples”; Terjemahan: kumpulkan 20–100 contoh) dengan label manusia, dan mengesyorkan label kategori seperti lulus/gagal berbanding skala angka yang besar.
Bagaimanakah anda menjalankan perbandingan bersebelahan?
Jalankan kedua-dua calon pada setiap kes, sembunyikan identiti daripada hakim, tukar susunan, dan log kos serta masa:
import os, random, time, json
from openai import OpenAI
client = OpenAI(base_url="https://inference.broadnet.ai/v1", api_key=os.environ["BROADNET_API_KEY"])
A, B = "broadnet/deepseek-v4.1-flash", "broadnet/qwen3.8-27b"
JUDGE = "broadnet/glm-5.3" # a third family, pinned
def run(model, case):
t0 = time.perf_counter()
r = client.chat.completions.create(model=model, messages=case["messages"], max_tokens=4000, temperature=0)
return {"text": r.choices[0].message.content or "", "usage": r.usage.model_dump(),
"secs": time.perf_counter() - t0}
def judge(case, first, second):
prompt = (f"Task:\n{case['task']}\n\nRubric:\n{case['rubric']}\n\n"
f"Answer 1:\n{first}\n\nAnswer 2:\n{second}\n\n"
'Reply with JSON only: {"winner": 1 or 2 or 0 for tie, "reason": "..."}')
r = client.chat.completions.create(model=JUDGE, temperature=0, max_tokens=2000,
response_format={"type": "json_object"},
messages=[{"role": "user", "content": prompt}])
return int(json.loads(r.choices[0].message.content or "{}").get("winner", 0))
def compare(case):
a, b = run(A, case), run(B, case)
if case.get("check"): # deterministic first
return {"a_ok": case["check"](a["text"]), "b_ok": case["check"](b["text"]), "a": a, "b": b}
w1 = judge(case, a["text"], b["text"]) # A shown first
w2 = judge(case, b["text"], a["text"]) # B shown first
winner = "A" if (w1, w2) == (1, 2) else "B" if (w1, w2) == (2, 1) else "tie"
return {"winner": winner, "a": a, "b": b}
Peraturan pertukaran bermaksud sesuatu model menang hanya apabila hakim memilihnya dalam kedua-dua kedudukan; sebarang percanggahan dikira seri. Kadar percanggahan itu sendiri berguna: kadar yang tinggi bermaksud hakim atau rubrik terlalu kabur. Perhatikan max_tokens=4000: pada model penaakulan, pemikiran dikira dalam had itu, dan had yang rendah menghasilkan jawapan kosong yang kelihatan seperti kegagalan. Lihat mengapa model penaakulan memulangkan balasan kosong.
Sebesar manakah perbezaan yang sebenar?
Skor eval ialah sampel. Bagi kadar lulus p merentas n kes, ralat piawai ialah √(p × (1 − p) ÷ n), dan margin 95% kira-kira dua kali ganda itu.
| Kes | Kadar lulus | Margin 95% |
|---|---|---|
| 50 | 80% | kira-kira ±11 mata |
| 100 | 80% | kira-kira ±8 mata |
| 200 | 80% | kira-kira ±6 mata |
| 400 | 80% | kira-kira ±4 mata |
Jadi model yang mendapat 82% berbanding 79% pada 100 kes belum terbukti lebih baik. Lihat perbezaan setiap kes sebaliknya: kes manakah yang bertukar daripada lulus kepada gagal? Itu memberitahu anda lebih banyak daripada jumlah keseluruhan, dan pada kes kritikal satu pertukaran boleh menentukan keputusan untuk bertukar.
Apakah sepatutnya peraturan keputusan?
Tulis sebelum anda menjalankan eval, supaya hasilnya tidak dapat memesongkannya. Templat praktikal:
- Tiada regresi pada mana-mana kes yang ditag kritikal.
- Kadar lulus keseluruhan tidak lebih rendah daripada model semasa melebihi margin ralat.
- Kependaman p95 dalam bajet anda; lihat TTFT vs throughput untuk cara mengukurnya.
- Kos setiap kes yang berjaya lebih rendah, atau lebih tinggi hanya dengan jumlah yang telah dipersetujui berbaloi untuk kualiti itu. Kira perbezaan bulanan dengan kalkulator kos API LLM.
- Tempoh bayangan: hantar sebahagian trafik langsung kepada model baharu, log kedua-duanya, dan bandingkan sebelum beralih sepenuhnya.
Set eval yang sama ialah titik permulaan jika anda mempertimbangkan model tersuai: sebelum penalaan halus menerangkan bila prompt dan retrieval sudah memadai.
Di manakah kedudukan BroadNet Inference
BroadNet Inference menyajikan beberapa keluarga model di sebalik satu endpoint serasi OpenAI, termasuk DeepSeek V4.1 Flash, GLM 5.3 dan Qwen3.8 27B, jadi calon dan hakim daripada keluarga berbeza boleh dijalankan melalui klien dan kunci yang sama. Setiap respons membawa penggunaan token untuk perbandingan kos, dan akaun baharu bermula dengan kredit $5; tanpa tambah nilai, kredit itu hanya menjalankan Gemma 4 VL 26B, jadi rancang tambah nilai kecil untuk membandingkan model yang lebih besar. Ia tidak menyertakan harness penilaian atau alatan hakim yang dihoskan; anda menjalankan kod di atas sendiri. Untuk beban kerja bahasa Arab, memilih LLM untuk bahasa Arab menyenaraikan apa yang perlu diuji. Harga bersebelahan ada di halaman perbandingan.
