BroadRouter

Sebelum penalaan halus: tentukan masalah yang hendak diselesaikan

Oleh pasukan BroadNet Inference · 7 minit bacaan · Diterbitkan · Dikemas kini

Lakukan penalaan halus hanya selepas penilaian menunjukkan kegagalan berulang yang tidak dibaiki oleh prompt, contoh, retrieval dan pengesahan yang lebih baik. Pengetahuan yang tiada biasanya memerlukan retrieval, dan ralat format memerlukan output berstruktur dan semakan. Sebelum meminta model tersuai, kumpul contoh berlabel yang sah anda gunakan, asingkan set ujian, dan rekodkan skor yang perlu diatasi.

Penalaan halus (fine-tuning) sering menjadi penyelesaian pertama yang dicapai apabila model tersilap, dan sering juga penyelesaian yang salah. Ia memerlukan pengumpulan data, pelabelan, larian latihan dan model yang kini perlu anda selenggara. Banyak kegagalan hilang dengan prompt yang lebih jelas, retrieval dokumen yang betul, atau semakan kod pada output. Catatan ini tentang menentukan kes mana yang anda hadapi, dan apa yang perlu disediakan jika anda benar-benar memerlukan model tersuai.

Apakah masalah yang cuba anda selesaikan?

Namakan kegagalan sebelum anda namakan penyelesaian. Kebanyakan kegagalan LLM jatuh ke dalam beberapa corak, dan setiap satu ada langkah pertama yang lebih murah:

Gejala Cuba dahulu Penalaan halus membantu apabila
Fakta salah atau lapuk Retrieval (RAG) atas dokumen anda Jarang; fakta yang berubah tetap memerlukan retrieval
Format salah, JSON rosak Output berstruktur, semakan skema, satu cubaan semula Formatnya luar biasa dan contoh dalam prompt tidak mencukupi
Label atau kategori tidak konsisten Definisi jelas dan contoh few-shot Set label besar atau halus dan contoh tidak muat dalam prompt
Nada atau gaya salah Panduan gaya dalam prompt sistem, dengan contoh Gaya rumah mesti kekal merentas beribu-ribu output
Perkataan domain tersalah dengar atau eja Senarai perbendaharaan kata dalam prompt, pembetulan selepas dalam kod Model ucapan berulang kali tersalah dengar nama, kod atau nombor yang sama
Terlalu perlahan atau mahal pada skala besar Model lebih kecil, prompt caching, prompt lebih pendek Model kecil yang ditala halus boleh menyamai model besar pada tugas yang sempit
Bahasa atau dialek salah Arahan dalam bahasa yang betul; lihat kejuruteraan prompt bahasa Arab Model faham tetapi tidak mahu menulis dalam dialek yang anda perlukan

Panduan OpenAI sendiri menerangkan susunan yang sama: tulis eval dahulu, kemudian ulang-kaji prompt, dan tala halus untuk sesetengah kes penggunaan. Ia menyatakan proses kejuruteraan prompt “may be all you need in order to get great results.” (Terjemahan: mungkin sahaja yang anda perlukan untuk mendapat hasil yang hebat.) Ia menyenaraikan apa yang ditambah penalaan halus berbanding prompt: lebih banyak contoh daripada yang muat dalam satu prompt, prompt lebih pendek yang menjimatkan token, latihan pada data yang anda tidak mahu hantar dalam setiap permintaan, dan menjadikan model lebih kecil mahir dalam satu tugas.

Bagaimanakah anda membuktikan kegagalan itu berulang?

Dengan set penilaian. Kumpul 100 hingga 200 input sebenar dengan output baik yang diketahui, seperti dalam menilai LLM sebelum bertukar. Beri skor prompt semasa anda. Kemudian labelkan setiap kegagalan dengan kategori pendek: wrong_label, missing_field, dialect, hallucinated_fact, dan sebagainya.

Satu corak hanya calon penalaan halus jika ketiga-tiga ini benar:

  1. Ia kerap. Ia menyumbang bahagian kegagalan yang bermakna, bukan satu atau dua kes ganjil.
  2. Ia bertahan selepas penyelesaian murah. Anda telah mencuba arahan yang lebih jelas, contoh, retrieval dan pengesahan, dan kategori itu masih ada.
  3. Ia konsisten. Orang bersetuju tentang jawapan yang betul. Jika dua penyemak anda sendiri melabel kes yang sama secara berbeza, model yang dilatih pada label mereka akan mempelajari percanggahan itu.

Tulis hasilnya sebagai pernyataan pendek, seperti contoh rekaan ini: “Pada set sokongan bahasa Arab 200 kes kami, prompt terbaik tersalah label 18% tiket bil sebagai penghantaran; contoh few-shot menurunkannya kepada 15%.” Ayat itu ialah taklimat untuk fine-tune, dan angka yang perlu diatasi.

Perubahan lebih mudah manakah yang patut diuji dahulu?

Jalankannya mengikut susunan kos, dan beri skor semula selepas setiap satu:

  1. Arahan. Takrifkan setiap label atau medan. Nyatakan apa yang perlu dilakukan apabila tidak pasti.
  2. Contoh. Tambah tiga hingga sepuluh contoh sebenar, termasuk kes yang sukar.
  3. Retrieval. Jika jawapan memerlukan fakta, dapatkan petikan yang berkaitan. Carian RAG bahasa Arab dan konteks panjang vs RAG membincangkan pilihannya.
  4. Kekangan. Gunakan output berstruktur jika model menyokongnya, dan semak output dalam kod. Tanya semula sekali dengan ralat itu.
  5. Model lain. Model asas yang berbeza mungkin sudah melakukan apa yang anda perlukan. Set penilaian yang sama memberitahu anda dalam sejam.

Setiap langkah mengambil masa beberapa jam, bukan minggu, dan setiap satu meninggalkan anda dengan garis dasar yang lebih baik untuk diatasi oleh fine-tune jika anda masih memerlukannya.

Data apakah yang anda perlukan, dan adakah anda berhak menggunakannya?

Sebelum kualiti, semak hak. Data latihan sering datang daripada perbualan pelanggan, dokumen atau rakaman panggilan. Anda memerlukan asas undang-undang dan, selalunya, persetujuan atau terma kontrak yang meliputi latihan. Semak notis privasi dan kontrak pelanggan anda sendiri, dan buang data peribadi yang anda tidak perlukan. Jangan anggap penyedia API anda mengumpulnya untuk anda: pernyataan privasi BroadNet, sebagai contoh, menyatakan ia tidak menyimpan kandungan inferens dan tidak menggunakan data inferens untuk melatih, menala halus atau menilai model.

Kemudian semak kualiti. Skrip ini membaca fail latihan dan fail eval dalam format chat JSONL yang lazim (satu {"messages": [...]} setiap baris, berakhir dengan jawapan assistant) dan melaporkan masalah yang diam-diam merosakkan fine-tune: baris rosak, pendua, input yang sama dengan jawapan berbeza, item eval yang bocor ke dalam latihan, keseimbangan label dan kemungkinan data peribadi.

import json, re, sys
from collections import Counter

DIAC = re.compile(r"[ً-ٰٟـ]")          # tashkeel, dagger alef, tatweel
PII = {"email": re.compile(r"[\w.+-]+@[\w-]+\.[\w.]+"),
       "phone": re.compile(r"(?:\+|00)\d[\d\s-]{7,}\d")}

def norm(s: str) -> str:
    s = DIAC.sub("", s.lower())
    s = re.sub("[إأآٱ]", "ا", s).replace("ى", "ي")
    return " ".join(s.split())

def load(path):
    rows, errors = [], []
    for i, line in enumerate(open(path, encoding="utf-8"), 1):
        try:
            ex = json.loads(line)
            roles = [m["role"] for m in ex["messages"]]
            if roles[-1] != "assistant" or "user" not in roles:
                raise ValueError(f"roles {roles}")
            rows.append(ex)
        except (ValueError, KeyError, IndexError, TypeError) as e:
            errors.append(f"line {i}: {e}")
    return rows, errors

def key(ex):     # the input side, normalised: what the model sees
    return norm(" ".join(m["content"] for m in ex["messages"] if m["role"] != "assistant"))

def check(train_path, eval_path):
    train, errs = load(train_path)
    evals, eval_errs = load(eval_path)
    keys = Counter(key(e) for e in train)
    labels = Counter(e["messages"][-1]["content"].strip() for e in train)
    leaked = {key(e) for e in evals} & set(keys)
    pii = Counter(k for e in train for m in e["messages"] for k, rx in PII.items() if rx.search(m["content"]))
    conflicts = Counter()
    seen = {}
    for e in train:
        k, a = key(e), e["messages"][-1]["content"].strip()
        if k in seen and seen[k] != a:
            conflicts[k] += 1
        seen.setdefault(k, a)
    return {"train_examples": len(train), "parse_errors": errs + eval_errs,
            "duplicate_inputs": sum(n - 1 for n in keys.values() if n > 1),
            "same_input_different_answer": len(conflicts),
            "eval_items_also_in_train": len(leaked),
            "answer_distribution": labels.most_common(5),
            "examples_with_possible_pii": dict(pii)}

if __name__ == "__main__":
    print(json.dumps(check(sys.argv[1], sys.argv[2]), ensure_ascii=False, indent=1))

Kami menjalankannya pada fail mainan tujuh baris berisi tiket sokongan dalam bahasa Arab, Inggeris dan Sepanyol. Ia menemui satu baris tanpa jawapan assistant, dua input pendua (satu berbeza hanya dengan satu baris diakritik, yang dibuang oleh penormal, seperti dalam penormalan teks bahasa Arab), satu input yang dilabel billing dan other sekali gus, satu item eval yang juga muncul dalam latihan, dan satu nombor telefon. Setiap satu daripadanya akan membuatkan fine-tune kelihatan lebih baik atau lebih buruk daripada yang sebenar.

Penormalan penting untuk bahasa Arab. Tanpanya, “متأخر” dan “متأخِّر” dikira sebagai input berbeza, dan salinan hampir sama bagi item ujian boleh menyelinap masuk ke dalam latihan.

Bagaimanakah anda menilai fine-tune secara adil?

Gunakan set ujian diasingkan yang sama yang anda gunakan untuk garis dasar, dan jauhkannya daripada latihan. Kemudian bandingkan:

  • Dengan prompt terbaik, bukan yang pertama. Fine-tune yang mengatasi prompt yang lemah tidak membuktikan apa-apa.
  • Mengikut kategori dan bahasa. Peningkatan keseluruhan boleh menyembunyikan penurunan dalam bahasa Arab sementara bahasa Inggeris bertambah baik. Laporkan setiap satu.
  • Pada tingkah laku umum. Tambah 20 hingga 50 permintaan biasa yang dikendalikan dengan baik oleh model sebelum ini. Latihan yang sempit boleh merosotkan tingkah laku di luar tugas.
  • Pada kos dan kependaman. Fine-tune sering dijustifikasikan oleh model lebih kecil yang melakukan kerja itu. Ukur juga token dan masa setiap permintaan.

Tentukan peraturan lulus sebelum anda melihat angka, seperti dalam catatan eval: contohnya, “sekurang-kurangnya 5 mata lebih baik pada label bil, tiada kategori lebih buruk lebih daripada 2 mata, bahasa Arab dan Inggeris kedua-duanya lulus.”

Apakah yang berubah apabila anda tidak boleh menala halus model berhos?

Lebih sedikit API berhos yang menawarkan penalaan halus layan diri daripada yang anda jangka. Halaman deprecations OpenAI merekodkan kemas kini pada platform penalaan halus layan dirinya: mulai 7 Mei 2026, organisasi yang belum pernah menjalankan penalaan halus tidak lagi boleh mencipta tugas; mulai 2 Julai 2026, organisasi yang tidak menjalankan inferens pada model yang ditala halus dalam 60 hari lepas juga tidak boleh; dan mulai 6 Januari 2027 pelanggan sedia ada yang aktif tidak lagi boleh mencipta tugas penalaan halus baharu. Model yang telah ditala halus kekal tersedia untuk inferens sehingga model asasnya ditamatkan.

Alternatif lazim ialah model open-weight yang dilatih dengan kaedah cekap parameter seperti LoRA. Kertas LoRA (Hu et al.) melaporkan bahawa, berbanding penalaan halus penuh GPT-3 175B dengan Adam, LoRA boleh mengurangkan bilangan parameter boleh latih sebanyak 10,000 kali dan keperluan memori GPU sebanyak 3 kali. Anda kemudian memerlukan tempat untuk menyajikan hasilnya, sama ada perkakasan anda sendiri atau penyedia yang mengehos pemberat tersuai. Model open-weight vs tertutup membincangkan pertukaran itu.

Di manakah BroadNet Inference sesuai

BroadRouter ialah laman web BroadNet sendiri. API layan diri BroadNet Inference tiada endpoint penalaan halus: rujukan APInya hanya mendokumenkan chat completions dan transkripsi audio. Halaman yang sama menyatakan “private endpoints, our Arabic fine-tunes and other models on request are reached with a private ID issued with the endpoint.” (Terjemahan: endpoint persendirian, fine-tune bahasa Arab kami dan model lain atas permintaan dicapai dengan ID persendirian yang dikeluarkan bersama endpoint.) Halaman model BroadNet menyenaraikan fine-tune BroadNet bagi Cohere Transcribe Arabic untuk nombor, tarikh dan nama dalam audio bising sebagai atas permintaan, dengan ID model persendirian bagi setiap pelanggan, dan menyatakan Gemma 4 VL 26B tersedia pada endpoint persendirian “including our Arabic fine-tunes” (Terjemahan: termasuk fine-tune bahasa Arab kami). Ini pertanyaan melalui halaman hubungan, bukan sesuatu yang boleh anda beli atau latih sendiri; merancang endpoint persendirian membincangkan apa yang perlu dihantar.

Untuk semua sebelum langkah itu, model awam sudah cukup untuk membina set penilaian dan garis dasar anda: Qwen3.8 27B dan GLM 5.3 mendokumenkan output berstruktur, Gemma 4 VL 26B berjalan dengan kredit permulaan $5, dan BroadNet Transcribe Arabic mengendalikan ucapan pada $0.0042 seminit. Kandungan inferens tidak disimpan; metadata akaun, pengebilan dan keselamatan yang perlu disimpan seperti yang diterangkan dalam pernyataan privasi BroadNet.

Soalan lazim

Patutkah saya menggunakan penalaan halus atau RAG?

Gunakan retrieval apabila model kekurangan fakta, terutamanya fakta yang berubah: dokumen, harga, dasar. Pertimbangkan penalaan halus apabila model sudah ada maklumat itu tetapi berkelakuan salah secara konsisten, seperti format, nada, label atau perbendaharaan kata domain, dan prompt dengan contoh tidak membaikinya.

Bagaimanakah saya tahu sama ada kejuruteraan prompt sudah memadai?

Ukurlah. Bina set penilaian daripada input sebenar, beri skor prompt semasa, kemudian cuba arahan yang lebih jelas, contoh few-shot, output berstruktur dan pengesahan. Jika skor mencapai sasaran anda, berhenti. Jika satu jenis kegagalan kekal merentas perubahan itu, itulah calon penalaan halus.

Berapa banyak data yang saya perlukan untuk penalaan halus?

Tiada angka universal. Ia bergantung pada tugas, model asas dan kaedah. Kumpul contoh berlabel dan konsisten yang cukup untuk meliputi setiap kes yang penting bagi anda, ditambah set ujian berasingan yang diasingkan, dan semak sama ada skor masih meningkat apabila anda menambah data.

Bolehkah saya menala halus model di BroadNet Inference?

Tidak secara layan diri. Rujukan API BroadNet mendokumenkan chat completions dan transkripsi audio, tanpa endpoint latihan. BroadNet menyenaraikan fine-tune bahasa Arab, seperti Cohere Transcribe Arabic yang ditala, sebagai model atas permintaan yang disajikan pada endpoint persendirian dengan ID model persendirian.

Adakah BroadNet melatih model pada trafik API saya?

Pernyataan privasi BroadNet menyatakan ia tidak menggunakan data inferens untuk melatih, menala halus atau menilai model, dan tidak menyimpan kandungan inferens. Jika anda mahu menala halus pada trafik anda sendiri, anda mesti mengumpul dan menyimpan data itu sendiri, dengan hak untuk menggunakannya.

Baca sebagai MarkdownTanya ChatGPTTanya ClaudeTanya Perplexity