BroadRouter
Mulakan

Cara menilai LLM sebelum bertukar penyedia

Oleh pasukan BroadNet Inference · 5 minit bacaan · Diterbitkan

Kumpulkan 50 hingga 200 prompt sebenar dengan hasil baik yang diketahui. Beri skor kepada kedua-dua model dengan semakan kod dahulu, dan gunakan hakim LLM hanya jika kod tidak dapat memutuskan. Tukar susunan jawapan untuk membatalkan bias kedudukan, gunakan hakim daripada keluarga model ketiga, semak hakim itu dengan label anda sendiri, dan tetapkan peraturan lulus, termasuk kos dan kependaman, sebelum menjalankannya.

Untuk menilai LLM sebelum bertukar, jalankan kedua-dua model pada 50 hingga 200 prompt sebenar dengan hasil baik yang diketahui. Beri skor dengan semakan kod dahulu dan hakim LLM yang dinyahbias hanya jika kod tidak dapat memutuskan, log kos dan kependaman, dan tetapkan peraturan lulus lebih awal.

Perubahan kod itu sendiri kecil: dengan API serasi OpenAI ia hanyalah base URL dan ID model. Senarai semak migrasi merangkumi bahagian itu, dan senarai semak penyedia merangkumi harga, had dan privasi. Bahagian yang sukar ialah mengetahui sama ada model baharu sama baik untuk tugas anda. Papan pendahulu awam tidak menjawabnya; Artificial Analysis dan alternatifnya sesuai untuk membina senarai pendek. Set eval kecil yang dibina daripada trafik anda sendiri yang menjawabnya, dalam sehari dua kerja.

Bagaimanakah anda membina set eval daripada trafik sebenar?

  1. Tarik 300 hingga 1,000 permintaan terkini daripada log penggunaan anda, selepas penyuntingan data sensitif.
  2. Kumpulkan mengikut jenis tugas: pengekstrakan, pengelasan, peringkasan, balasan chat, suntingan kod, panggilan alat.
  3. Ambil sampel 10 hingga 40 bagi setiap jenis, lebih banyak untuk jenis yang bervolum tinggi atau berisiko tinggi. Masukkan prompt panjang, input bukan bahasa Inggeris dan kes yang diadukan pengguna.
  4. Tulis hasil yang dijangka bagi setiap satu: nilai tepat, skema, ujian yang mesti lulus, atau rubrik ringkas (“menyebut tempoh bayaran balik; tiada dasar rekaan”).
  5. Tag kes kritikal. Jumlah invois yang salah atau arahan yang terbocor tidak sama dengan nada yang sedikit kurang baik.
  6. Bekukan set itu dalam kawalan versi. Tambah kes apabila anda menemui kegagalan baharu, jangan sekali-kali padam kes supaya sesuatu model kelihatan lebih baik.

Semakan manakah patut dibuat oleh kod dan mana oleh hakim?

Gunakan semakan boleh dipercayai yang paling murah bagi setiap kes:

Tugas Semakan Perlu hakim?
Pengekstrakan JSON Berjaya dihurai, lulus skema, medan sama dengan jangkaan Tidak
Pengelasan Label sama dengan jangkaan Tidak
Suntingan kod Ujian lulus Tidak
Panggilan alat Fungsi betul, argumen lulus pengesahan Tidak
Ringkasan Mengandungi fakta yang diperlukan; tiada fakta yang tiada dalam sumber Kadangkala
Balasan chat, nada, kebergunaan Rubrik Ya

Semakan deterministik adalah percuma, boleh diulang dan mustahil dibodek, jadi alihkan sebanyak mungkin kes kepada semakan kod.

Apakah yang boleh menjadi salah dengan LLM sebagai hakim?

LLM sebagai hakim ialah model yang menilai jawapan model lain berdasarkan rubrik. Kajian MT-Bench (Zheng et al.) mendapati hakim yang kuat bersetuju dengan keutamaan manusia lebih 80% masa, lebih kurang sekerap manusia bersetuju sesama sendiri. Kertas yang sama menamakan bias yang perlu anda tangani dalam reka bentuk:

Bias Apa yang berlaku Mitigasi
Kedudukan Lebih suka jawapan pertama (atau kedua) yang ditunjukkan Nilai setiap pasangan dua kali, susunan ditukar; kira kemenangan hanya jika kedua-duanya bersetuju
Panjang jawapan Lebih suka jawapan yang lebih panjang Rubrik yang memberi ganjaran kepada ketepatan dan keringkasan; hadkan panjang dalam prompt
Keutamaan diri Lebih suka jawapan dalam gayanya sendiri Hakim daripada keluarga model yang berbeza daripada kedua-dua calon
Penaakulan lemah Terlepas ralat dalam matematik atau kod Gunakan semakan kod untuk kes tersebut

Dua lagi peraturan daripada amalan. Pinkan hakim: versi model yang sama, prompt yang sama, temperature 0, sepanjang perbandingan. Dan kalibrasikannya: labelkan 30 hingga 50 pasangan sendiri, jalankan hakim padanya, dan percayainya hanya jika ia kebanyakan masa bersetuju dengan anda. Panduan penilai Arize memberikan nasihat yang sama (“Collect 20–100 examples”; Terjemahan: kumpulkan 20–100 contoh) dengan label manusia, dan mengesyorkan label kategori seperti lulus/gagal berbanding skala angka yang besar.

Bagaimanakah anda menjalankan perbandingan bersebelahan?

Jalankan kedua-dua calon pada setiap kes, sembunyikan identiti daripada hakim, tukar susunan, dan log kos serta masa:

import os, random, time, json
from openai import OpenAI

client = OpenAI(base_url="https://inference.broadnet.ai/v1", api_key=os.environ["BROADNET_API_KEY"])
A, B = "broadnet/deepseek-v4.1-flash", "broadnet/qwen3.8-27b"
JUDGE = "broadnet/glm-5.3"  # a third family, pinned

def run(model, case):
    t0 = time.perf_counter()
    r = client.chat.completions.create(model=model, messages=case["messages"], max_tokens=4000, temperature=0)
    return {"text": r.choices[0].message.content or "", "usage": r.usage.model_dump(),
            "secs": time.perf_counter() - t0}

def judge(case, first, second):
    prompt = (f"Task:\n{case['task']}\n\nRubric:\n{case['rubric']}\n\n"
              f"Answer 1:\n{first}\n\nAnswer 2:\n{second}\n\n"
              'Reply with JSON only: {"winner": 1 or 2 or 0 for tie, "reason": "..."}')
    r = client.chat.completions.create(model=JUDGE, temperature=0, max_tokens=2000,
                                       response_format={"type": "json_object"},
                                       messages=[{"role": "user", "content": prompt}])
    return int(json.loads(r.choices[0].message.content or "{}").get("winner", 0))

def compare(case):
    a, b = run(A, case), run(B, case)
    if case.get("check"):                       # deterministic first
        return {"a_ok": case["check"](a["text"]), "b_ok": case["check"](b["text"]), "a": a, "b": b}
    w1 = judge(case, a["text"], b["text"])      # A shown first
    w2 = judge(case, b["text"], a["text"])      # B shown first
    winner = "A" if (w1, w2) == (1, 2) else "B" if (w1, w2) == (2, 1) else "tie"
    return {"winner": winner, "a": a, "b": b}

Peraturan pertukaran bermaksud sesuatu model menang hanya apabila hakim memilihnya dalam kedua-dua kedudukan; sebarang percanggahan dikira seri. Kadar percanggahan itu sendiri berguna: kadar yang tinggi bermaksud hakim atau rubrik terlalu kabur. Perhatikan max_tokens=4000: pada model penaakulan, pemikiran dikira dalam had itu, dan had yang rendah menghasilkan jawapan kosong yang kelihatan seperti kegagalan. Lihat mengapa model penaakulan memulangkan balasan kosong.

Sebesar manakah perbezaan yang sebenar?

Skor eval ialah sampel. Bagi kadar lulus p merentas n kes, ralat piawai ialah √(p × (1 − p) ÷ n), dan margin 95% kira-kira dua kali ganda itu.

Kes Kadar lulus Margin 95%
50 80% kira-kira ±11 mata
100 80% kira-kira ±8 mata
200 80% kira-kira ±6 mata
400 80% kira-kira ±4 mata

Jadi model yang mendapat 82% berbanding 79% pada 100 kes belum terbukti lebih baik. Lihat perbezaan setiap kes sebaliknya: kes manakah yang bertukar daripada lulus kepada gagal? Itu memberitahu anda lebih banyak daripada jumlah keseluruhan, dan pada kes kritikal satu pertukaran boleh menentukan keputusan untuk bertukar.

Apakah sepatutnya peraturan keputusan?

Tulis sebelum anda menjalankan eval, supaya hasilnya tidak dapat memesongkannya. Templat praktikal:

  1. Tiada regresi pada mana-mana kes yang ditag kritikal.
  2. Kadar lulus keseluruhan tidak lebih rendah daripada model semasa melebihi margin ralat.
  3. Kependaman p95 dalam bajet anda; lihat TTFT vs throughput untuk cara mengukurnya.
  4. Kos setiap kes yang berjaya lebih rendah, atau lebih tinggi hanya dengan jumlah yang telah dipersetujui berbaloi untuk kualiti itu. Kira perbezaan bulanan dengan kalkulator kos API LLM.
  5. Tempoh bayangan: hantar sebahagian trafik langsung kepada model baharu, log kedua-duanya, dan bandingkan sebelum beralih sepenuhnya.

Set eval yang sama ialah titik permulaan jika anda mempertimbangkan model tersuai: sebelum penalaan halus menerangkan bila prompt dan retrieval sudah memadai.

Di manakah kedudukan BroadNet Inference

BroadNet Inference menyajikan beberapa keluarga model di sebalik satu endpoint serasi OpenAI, termasuk DeepSeek V4.1 Flash, GLM 5.3 dan Qwen3.8 27B, jadi calon dan hakim daripada keluarga berbeza boleh dijalankan melalui klien dan kunci yang sama. Setiap respons membawa penggunaan token untuk perbandingan kos, dan akaun baharu bermula dengan kredit $5; tanpa tambah nilai, kredit itu hanya menjalankan Gemma 4 VL 26B, jadi rancang tambah nilai kecil untuk membandingkan model yang lebih besar. Ia tidak menyertakan harness penilaian atau alatan hakim yang dihoskan; anda menjalankan kod di atas sendiri. Untuk beban kerja bahasa Arab, memilih LLM untuk bahasa Arab menyenaraikan apa yang perlu diuji. Harga bersebelahan ada di halaman perbandingan.

Soalan lazim

Berapa banyakkah contoh yang saya perlukan dalam set eval LLM?

Lima puluh cukup untuk mengesan regresi besar, 200 untuk melihat perbezaan sekitar 5 hingga 10 mata. Liputan lebih penting daripada saiz, jadi masukkan setiap jenis tugas dan kes kegagalan yang anda ketahui.

Bolehkah LLM sebagai hakim dipercayai?

Sebahagiannya. Dalam kajian MT-Bench, hakim yang kuat bersetuju dengan keutamaan manusia lebih 80% masa, lebih kurang sekerap manusia bersetuju sesama sendiri. Mereka juga menunjukkan bias kedudukan, panjang jawapan dan peningkatan diri, jadi nyahbiaskan dan buat semakan rawak.

Patutkah model hakim sama dengan model yang diuji?

Tidak. Hakim cenderung memihak kepada jawapan yang menyerupai jawapan mereka sendiri. Gunakan hakim daripada keluarga model yang berbeza, dan kekalkannya pada satu versi sepanjang perbandingan.

Apakah itu bias kedudukan dalam penilaian LLM?

Hakim lebih suka jawapan yang muncul dahulu, atau kedua, tanpa mengira kualiti. Atasinya dengan menilai setiap pasangan dua kali dengan susunan ditukar dan mengira kemenangan hanya apabila kedua-dua susunan bersetuju.

Patutkah saya membandingkan kos dan kependaman dalam eval yang sama?

Ya. Log token dan masa bagi setiap panggilan eval. Model yang mendapat skor dua mata lebih tinggi pada tiga kali ganda kos atau kependaman mungkin masih pilihan pertukaran yang salah.

Baca sebagai MarkdownTanya ChatGPTTanya ClaudeTanya Perplexity