BroadRouter
Mulakan

Pengelasan teks bahasa Arab dengan LLM: sentimen, niat, triaj

Oleh pasukan BroadNet Inference · 7 minit bacaan · Diterbitkan · Dikemas kini

Untuk mengelaskan teks bahasa Arab dengan LLM, tetapkan set label yang pendek dengan takrif satu baris, beri beberapa contoh berlabel dalam setiap dialek yang anda terima, minta JSON dengan satu label dan petikan ringkas sebagai bukti, dan tetapkan penaakulan pada tahap rendah. Kemudian skor model pada 200 mesej yang dilabel secara manual dengan macro F1 sebelum mempercayainya. Model Arab yang ditala halus masih boleh mengatasi LLM umum.

Kerja pengelasan bahasa Arab ada di mana-mana: adakah ulasan ini positif, adakah mesej WhatsApp ini satu aduan, pasukan mana yang patut menerima tiket ini, adakah ia mendesak. Sebelum LLM, setiap kerja memerlukan set data berlabel dan model yang ditala halus. Kini anda boleh bermula dengan prompt. Itu lebih pantas, tetapi mudah untuk melancarkan pengelas yang kelihatan baik pada sepuluh contoh dan gagal pada dialek Teluk. Artikel ini merangkumi prompt, format output, ujian dan kos.

Kerja pengelasan manakah yang sesuai untuk LLM?

Kerja Label, contohnya Nota
Sentimen positive, negative, neutral, mixed Neutral dan mixed ialah tempat manusia dan model paling kerap tidak bersetuju
Niat complaint, question, order, cancel, other Kekalkan “other”; memaksa label menghasilkan ralat
Penghalaan tiket billing, delivery, technical, account Asaskan label pada pasukan sebenar anda
Kedesakan urgent, normal Takrifkan urgent dalam satu baris: “pelanggan tidak dapat menggunakan perkhidmatan sekarang”
Dialek atau tulisan MSA, Gulf, Egyptian, Levantine, Arabizi Berguna untuk menghala ke templat balasan yang betul; lihat Arabizi
Tag topik Beberapa label daripada senarai tetap Minta senarai, hadkan panjangnya

LLM sesuai apabila anda mempunyai sedikit contoh berlabel, apabila label kerap berubah, atau apabila anda mahukan sebab bagi setiap label. Pengelas yang ditala halus sesuai apabila label stabil, volum sangat besar dan anda sudah mempunyai beribu-ribu contoh berlabel.

Apakah kata penyelidikan tentang LLM pada bahasa Arab?

Dua dapatan wajar diketahui sebelum anda bermula:

  • Model Arab yang ditala halus boleh menang. GPTAraEval menguji ChatGPT pada 44 tugas bahasa Arab dan mendapati ia “consistently surpassed by smaller models that have undergone finetuning on Arabic” (Terjemahan: secara konsisten diatasi oleh model lebih kecil yang telah ditala halus dalam bahasa Arab). Pengarangnya juga mendapati hasil yang lebih lemah pada dialek berbanding bahasa Arab Standard Moden (Khondaker et al.).
  • Prompt peka dialek membantu. Kajian RANLP 2025 terhadap DeepSeek-R1, Qwen2.5 dan LLaMA-3 bagi sentimen dalam MSA, dialek Saudi dan Darija Maghribi melaporkan bahawa prompt peka dialek meningkatkan ketepatan, terutamanya bagi kelas neutral dan negatif (Alharbi et al.).

Ini model yang lebih lama atau berbeza daripada yang akan anda gunakan, jadi anggaplah ia sebagai arah, bukan angka. Pengajarannya tetap: ukur pada mesej anda sendiri, bagi setiap dialek.

Bagaimanakah cara mereka bentuk label?

Mulakan di sini, bukan dengan model.

  1. Kekalkan senarai pendek. Empat hingga lapan label bagi setiap soalan. Tanya soalan berasingan (sentimen, niat, kedesakan) sebagai medan berasingan, bukan satu senarai gergasi.
  2. Takrifkan setiap label dalam satu baris, termasuk apa yang bukan label itu: “complaint: pelanggan melaporkan masalah dengan sesuatu yang dibelinya. Bukan soalan tentang harga.”
  3. Tambah label lepasan seperti other atau unclear.
  4. Putuskan kes bercampur lebih awal. “Penghantaran lewat tetapi pemandunya baik” ialah mixed, bukan neutral. Tuliskan peraturan itu.

Takrif label boleh dalam bahasa Inggeris walaupun teksnya bahasa Arab. Kekalkan nilai label dalam bahasa Inggeris supaya kod anda tidak bergantung pada padanan rentetan bahasa Arab.

Prompt apakah yang berkesan untuk pengelasan bahasa Arab?

import json, os
from openai import OpenAI

client = OpenAI(base_url="https://inference.broadnet.ai/v1", api_key=os.environ["BROADNET_API_KEY"])
LABELS = ["complaint", "question", "order", "cancel", "other"]

SYSTEM = """You classify customer messages written in Arabic.
Messages may be Modern Standard Arabic, Gulf or Egyptian dialect, Arabizi, or mixed with English.
Labels:
- complaint: reports a problem with a product, delivery or service.
- question: asks for information; no problem reported.
- order: wants to buy or change an order.
- cancel: wants to cancel an order or subscription.
- other: none of the above.
Return JSON only: {"label": one of the labels, "evidence": the shortest Arabic phrase from the message that decided it}.

Examples:
"الطلب وصل ناقص قطعتين" -> {"label": "complaint", "evidence": "وصل ناقص"}
"بكم التوصيل للرياض؟" -> {"label": "question", "evidence": "بكم التوصيل"}
"عايز ألغي الاشتراك" -> {"label": "cancel", "evidence": "ألغي الاشتراك"}"""

def classify(text):
    r = client.chat.completions.create(
        model="broadnet/qwen3.8-27b",
        temperature=0,
        reasoning_effort="low",
        max_tokens=1000,
        messages=[{"role": "system", "content": SYSTEM},
                  {"role": "user", "content": text}])
    out = json.loads(r.choices[0].message.content)
    if out.get("label") not in LABELS:
        raise ValueError(f"bad label: {out}")
    return out

Sebab setiap bahagian itu ada:

  • Baris dialek memberitahu model apa yang perlu dijangka, iaitu prompt peka dialek yang didapati membantu oleh kajian RANLP.
  • Contoh dalam lebih daripada satu dialek. Contoh di atas mencampurkan dialek Teluk dan Mesir. Gunakan mesej sebenar (yang dinyahnamakan) daripada trafik anda sendiri.
  • Bukti sebagai petikan membolehkan penyemak menyemak label dalam sesaat, dan memudahkan tekaan dikesan.
  • reasoning_effort="low". Qwen3.8 27B, GLM 5.3 dan DeepSeek V4.1 Flash menaakul sebelum menjawab, dan penaakulan dikira dalam max_tokens. Dokumentasi BroadNet mencadangkan menetapkan reasoning_effort kepada low atau memperuntukkan 1,000 token atau lebih. Mengapa jawapan kembali kosong jika tidak.
  • Tolak label yang tidak dikenali dalam kod. Jangan sekali-kali percaya model akan kekal dalam senarai.

Untuk kontrak output yang lebih ketat, lihat mod JSON vs json_schema. BroadNet menyenaraikan output berstruktur untuk GLM 5.3 dan Qwen3.8 27B.

Model BroadNet manakah yang patut anda gunakan?

Model Mengapa memilihnya Input / output setiap 1M token
Qwen3.8 27B Diuji oleh BroadNet dalam bahasa Arab: dialek Teluk dan Mesir difahami; output berstruktur disenaraikan $0.175 / $2.17
BroadNet Gemma 4 VL 26B Harga setiap token paling rendah di BroadNet; berjalan dengan kredit permulaan $5; output berstruktur tidak disenaraikan, jadi sahkan output dengan ketat $0.10 / $0.22
DeepSeek V4.1 Flash Juga pada pelan kadar tetap pada $60 sebulan setiap sesi, satu permintaan pada satu masa $0.175 / $0.52
GLM 5.3 Output berstruktur disenaraikan; harga tertinggi antara keempat-empatnya $0.78 / $3.46

Jalankan set ujian anda pada Qwen3.8 27B dan Gemma 4 VL 26B dahulu. Jika skor Gemma cukup hampir, ia pilihan yang lebih murah untuk label pendek. Pilih berdasarkan angka anda, bukan jadual ini.

Bagaimanakah cara menguji pengelas?

  1. Labelkan 200 mesej sebenar secara manual, bersama penutur asli, menggunakan takrif label di atas. Sertakan setiap dialek yang anda terima, sekurang-kurangnya 30 bagi setiap satu.
  2. Jalankan model pada kesemua 200.
  3. Kira macro F1, iaitu purata skor F1 bagi setiap label, supaya label yang jarang dikira sama berat dengan yang biasa. Ketepatan sahaja menyembunyikan model yang tidak pernah menjawab cancel.
  4. Baca matriks kekeliruan. Jika question dan complaint kerap bertukar, takrifnya bertindih: betulkan takrif sebelum anda menukar model.
  5. Pecahkan hasil mengikut dialek. Model boleh kuat dalam MSA dan lemah dalam dialek Teluk.
# pip install scikit-learn
from sklearn.metrics import classification_report, confusion_matrix
pred = [classify(t)["label"] for t in texts]
print(classification_report(gold, pred, labels=LABELS, digits=3))
print(confusion_matrix(gold, pred, labels=LABELS))

Jalankan semula set yang sama setiap kali anda menukar prompt atau model. Cara menilai LLM sebelum bertukar menerangkan cara mengekalkan set ujian yang tetap.

Bagaimanakah cara mengelaskan pada volum tinggi?

Pengelasan berat pada input: prompt sistem yang panjang, mesej pendek dan jawapan satu perkataan. Tiga tuil penting.

Kumpulkan mesej dalam setiap permintaan. Kunci bayar ikut guna BroadNet membenarkan 30 permintaan seminit dan 4 sedang berjalan. Satu mesej setiap permintaan mengehadkan anda kepada 30 mesej seminit bagi setiap kunci, atau 1,440 kali ganda itu sehari. Hantar 20 mesej pendek sebagai senarai bernombor dan minta tatasusunan JSON dengan 20 hasil: had kadar yang sama kemudian meliputi dua puluh kali lebih banyak mesej. Semak bahawa panjang tatasusunan sepadan dan setiap item mempunyai nombornya.

Kekalkan awalan prompt yang sama. Prompt sistem dan contoh adalah sama dalam setiap panggilan. Letakkannya dahulu dan mesej di hujung, supaya ia boleh dibaca daripada cache pada harga input cache, seperti $0.0435 dan bukannya $0.175 setiap 1M pada Qwen3.8 27B. Cara menyusun prompt supaya awalannya dicache.

Kekalkan output ringkas. Token output lebih mahal daripada input. Label dan petikan ringkas sudah memadai; buang medan bukti setelah anda mempercayai model.

Bahasa Arab biasanya menggunakan lebih banyak token setiap perkataan berbanding bahasa Inggeris, jadi kira sampel mesej anda dalam pengira token bahasa Arab, kemudian kira kos sebulan dalam kalkulator kos API LLM.

Kesilapan apakah yang perlu dielakkan?

  • Menguji pada terjemahan bahasa Inggeris. Teks terjemahan bukan cara pelanggan anda menulis.
  • Satu skor untuk semua dialek. Laporkan setiap dialek secara berasingan.
  • Tiada label lepasan. Memaksa setiap mesej ke dalam label sebenar menggelembungkan ralat.
  • Jawapan teks bebas. “Nampaknya negatif” tidak boleh dihuraikan. Minta JSON dan sahkannya.
  • Mengabaikan sindiran. “ما شاء الله، ثالث مرة يتأخر الطلب” (Masya-Allah, kali ketiga pesanan lewat) kelihatan positif perkataan demi perkataan tetapi sebenarnya aduan. Letakkan contoh seperti ini dalam prompt.

Bilakah LLM bukan pengelas yang sesuai?

Apabila label stabil, anda sudah mempunyai beribu-ribu contoh berlabel dan volum mencecah jutaan, model pengekod bahasa Arab yang ditala halus biasanya lebih murah bagi setiap mesej dan, menurut GPTAraEval, boleh lebih tepat. Untuk kerja luar talian besar yang boleh menunggu, penyedia dengan batch API juga mungkin lebih murah: OpenAI mengiklankan diskaun 50% bagi kerja batch yang siap dalam masa 24 jam. BroadNet tiada batch API. Corak yang biasa ialah menggunakan LLM untuk melabel beberapa ribu mesej pertama, menyemaknya secara manual, dan melatih model kecil pada hasilnya.

Di manakah BroadNet Inference sesuai

BroadNet memberi anda model yang diuji dalam bahasa Arab (Qwen3.8 27B), model murah yang boleh digunakan dengan kredit permulaan (Gemma 4 VL 26B) dan pilihan kadar tetap (DeepSeek V4.1 Flash) di sebalik satu kunci serasi OpenAI, tanpa kandungan mesej disimpan selepas permintaan. Itu sesuai untuk pasukan sokongan yang mahu mengelaskan mesej bahasa Arab tanpa membina saluran latihan. Ia tidak sesuai untuk kerja luar talian yang sangat besar di mana diskaun batch atau model yang ditala halus lebih murah. Mulakan dengan prompt di atas, ujian 200 mesej, dan artikel tentang dialek Teluk, Mesir dan Levant untuk membina set ujian.

Soalan lazim

Bolehkah LLM melakukan analisis sentimen bahasa Arab?

Boleh, tanpa latihan, dengan memberikannya label dan contoh dalam prompt. Kualiti berbeza mengikut dialek dan kelas: dalam ujian yang diterbitkan, model ketinggalan berbanding model Arab yang ditala halus dalam banyak tugas, dan dialek mendapat skor lebih rendah daripada bahasa Arab Standard Moden. Ukurlah pada data anda sendiri.

Adakah LLM lebih baik daripada model BERT bahasa Arab yang ditala halus untuk pengelasan?

Tidak selalu. GPTAraEval mendapati ChatGPT "consistently surpassed by smaller models that have undergone finetuning on Arabic" (Terjemahan: secara konsisten diatasi oleh model lebih kecil yang telah ditala halus dalam bahasa Arab) merentasi 44 tugas. LLM menang apabila anda mempunyai sedikit contoh berlabel, label yang kerap berubah, atau memerlukan sebab bagi setiap label.

Bagaimanakah saya mengelaskan mesej bahasa Arab Teluk dan Mesir?

Beri model contoh berlabel dalam setiap dialek, beritahu dialek yang perlu dijangka, dan skor setiap dialek secara berasingan. Model yang baik pada ulasan Mesir masih boleh terlepas sindiran dalam dialek Teluk.

Bagaimanakah saya mendapat label yang konsisten setiap kali?

Gunakan senarai label yang tetap, minta JSON dengan nilai itu sahaja, tetapkan temperature kepada 0, dan tolak sebarang balasan yang tiada dalam senarai. Hantar contoh yang sama dalam susunan yang sama supaya hasil boleh diulang.

Berapakah mesej yang boleh saya kelaskan sehari di BroadNet?

Kunci bayar ikut guna membenarkan 30 permintaan seminit dan 4 serentak. Pada satu mesej setiap permintaan, itu paling banyak 30 mesej seminit bagi setiap kunci, atau 1,440 kali ganda itu sehari. Memasukkan 20 mesej pendek dalam setiap permintaan meningkatkannya dua puluh kali ganda, dalam had konteks.

Adakah BroadNet mempunyai batch API untuk pengelasan pukal?

Tidak. BroadNet hanya mendokumenkan chat completions dan transkripsi. Untuk kerja luar talian yang besar, kumpulkan mesej dalam setiap permintaan, atau bandingkan dengan penyedia yang mempunyai batch API; Batch API OpenAI mengiklankan diskaun 50% dengan tetingkap 24 jam.

Baca sebagai MarkdownTanya ChatGPTTanya ClaudeTanya Perplexity