BroadRouter

Klasifikasi teks bahasa Arab dengan LLM: sentimen, intent, triase

Oleh tim BroadNet Inference · 7 menit baca · Dipublikasikan · Diperbarui

Untuk mengklasifikasikan teks bahasa Arab dengan LLM, tetapkan set label singkat dengan definisi satu baris, beri beberapa contoh berlabel untuk setiap dialek yang Anda terima, minta JSON berisi satu label dan kutipan singkat sebagai bukti, dan set penalaran rendah. Lalu nilai model pada 200 pesan berlabel manual dengan macro F1 sebelum memercayainya. Model bahasa Arab hasil fine-tuning tetap bisa mengalahkan LLM umum.

Pekerjaan klasifikasi bahasa Arab ada di mana-mana: apakah ulasan ini positif, apakah pesan WhatsApp ini keluhan, tim mana yang harus menerima tiket ini, apakah ini mendesak. Sebelum ada LLM, setiap pekerjaan membutuhkan dataset berlabel dan model hasil fine-tuning. Sekarang Anda bisa mulai dengan prompt. Itu lebih cepat, tetapi juga mudah merilis classifier yang terlihat bagus pada sepuluh contoh lalu gagal pada dialek Teluk. Artikel ini membahas prompt, format output, pengujian, dan biaya.

Pekerjaan klasifikasi apa yang cocok untuk LLM?

Pekerjaan Contoh label Catatan
Sentimen positif, negatif, netral, campuran Netral dan campuran adalah kelas tempat manusia dan model paling sering berbeda pendapat
Intent keluhan, pertanyaan, pesanan, pembatalan, lainnya Pertahankan “lainnya”; memaksakan label menimbulkan kesalahan
Routing tiket penagihan, pengiriman, teknis, akun Dasarkan label pada tim Anda yang sebenarnya
Urgensi mendesak, normal Definisikan mendesak dalam satu baris: “pelanggan tidak bisa memakai layanan sekarang”
Dialek atau aksara MSA, Teluk, Mesir, Levant, Arabizi Berguna untuk merutekan ke template balasan yang tepat; lihat Arabizi
Tag topik Beberapa label dari daftar tetap Minta daftar, batasi panjangnya

LLM cocok ketika contoh berlabel Anda sedikit, labelnya sering berubah, atau Anda menginginkan alasan untuk setiap label. Classifier hasil fine-tuning cocok ketika labelnya stabil, volumenya sangat besar, dan Anda sudah punya ribuan contoh berlabel.

Apa kata riset tentang LLM untuk bahasa Arab?

Dua hasil layak diketahui sebelum Anda mulai:

  • Model bahasa Arab hasil fine-tuning bisa menang. GPTAraEval menguji ChatGPT pada 44 tugas bahasa Arab dan menemukannya “consistently surpassed by smaller models that have undergone finetuning on Arabic” (Terjemahan BroadRouter: secara konsisten dikalahkan oleh model yang lebih kecil yang telah di-fine-tune dengan bahasa Arab). Penulisnya juga menemukan hasil yang lebih lemah pada dialek dibanding bahasa Arab Standar Modern (Khondaker dkk.).
  • Prompt yang sadar dialek membantu. Sebuah studi RANLP 2025 terhadap DeepSeek-R1, Qwen2.5, dan LLaMA-3 untuk sentimen dalam MSA, dialek Saudi, dan Darija Maroko melaporkan bahwa prompting yang sadar dialek meningkatkan akurasi, terutama untuk kelas netral dan negatif (Alharbi dkk.).

Ini model yang lebih lama atau berbeda dari yang akan Anda pakai, jadi anggap hasilnya sebagai arah, bukan angka. Pelajarannya tetap berlaku: ukur pada pesan Anda sendiri, per dialek.

Bagaimana merancang label?

Mulailah di sini, bukan dengan modelnya.

  1. Jaga daftarnya tetap pendek. Empat sampai delapan label per pertanyaan. Ajukan pertanyaan yang berbeda (sentimen, intent, urgensi) sebagai field terpisah, bukan satu daftar raksasa.
  2. Definisikan setiap label dalam satu baris, beserta apa yang bukan termasuk label itu: “keluhan: pelanggan melaporkan masalah dengan sesuatu yang dibelinya. Bukan pertanyaan tentang harga.”
  3. Tambahkan label pelarian seperti other atau unclear.
  4. Putuskan kasus campuran sejak awal. “Pengirimannya terlambat tetapi kurirnya ramah” adalah campuran, bukan netral. Tuliskan aturan itu.

Definisi label boleh dalam bahasa Inggris meskipun teksnya berbahasa Arab. Pertahankan nilai label dalam bahasa Inggris agar kode Anda tidak bergantung pada pencocokan string bahasa Arab.

Prompt seperti apa yang berhasil untuk klasifikasi bahasa Arab?

import json, os
from openai import OpenAI

client = OpenAI(base_url="https://inference.broadnet.ai/v1", api_key=os.environ["BROADNET_API_KEY"])
LABELS = ["complaint", "question", "order", "cancel", "other"]

SYSTEM = """You classify customer messages written in Arabic.
Messages may be Modern Standard Arabic, Gulf or Egyptian dialect, Arabizi, or mixed with English.
Labels:
- complaint: reports a problem with a product, delivery or service.
- question: asks for information; no problem reported.
- order: wants to buy or change an order.
- cancel: wants to cancel an order or subscription.
- other: none of the above.
Return JSON only: {"label": one of the labels, "evidence": the shortest Arabic phrase from the message that decided it}.

Examples:
"الطلب وصل ناقص قطعتين" -> {"label": "complaint", "evidence": "وصل ناقص"}
"بكم التوصيل للرياض؟" -> {"label": "question", "evidence": "بكم التوصيل"}
"عايز ألغي الاشتراك" -> {"label": "cancel", "evidence": "ألغي الاشتراك"}"""

def classify(text):
    r = client.chat.completions.create(
        model="broadnet/qwen3.8-27b",
        temperature=0,
        reasoning_effort="low",
        max_tokens=1000,
        messages=[{"role": "system", "content": SYSTEM},
                  {"role": "user", "content": text}])
    out = json.loads(r.choices[0].message.content)
    if out.get("label") not in LABELS:
        raise ValueError(f"bad label: {out}")
    return out

Alasan setiap bagian ada di sana:

  • Baris dialek memberi tahu model apa yang harus diharapkan, dan itulah prompting sadar dialek yang dinilai membantu oleh studi RANLP.
  • Contoh dalam lebih dari satu dialek. Contoh di atas mencampur dialek Teluk dan Mesir. Pakai pesan nyata (yang sudah dianonimkan) dari trafik Anda sendiri.
  • Bukti berupa kutipan memungkinkan peninjau mengecek label dalam sedetik, dan membuat tebakan lebih mudah dikenali.
  • reasoning_effort="low". Qwen3.8 27B, GLM 5.3, dan DeepSeek V4.1 Flash melakukan penalaran sebelum menjawab, dan penalaran dihitung dalam max_tokens. Dokumentasi BroadNet menyarankan mengatur reasoning_effort ke low atau menyisakan 1.000 token atau lebih. Mengapa jawaban bisa kembali kosong jika tidak.
  • Tolak label yang tidak dikenal di kode. Jangan pernah percaya model akan tetap di dalam daftar.

Untuk kontrak output yang lebih ketat, lihat JSON mode vs json_schema. BroadNet mencantumkan output terstruktur untuk GLM 5.3 dan Qwen3.8 27B.

Model BroadNet mana yang sebaiknya dipakai?

Model Alasan memilihnya Input / output per 1 juta token
Qwen3.8 27B Diuji BroadNet dalam bahasa Arab: memahami dialek Teluk dan Mesir; output terstruktur tercantum $0.175 / $2.17
BroadNet Gemma 4 VL 26B Harga per token terendah di BroadNet; bisa dipakai dengan kredit awal $5; output terstruktur tidak tercantum, jadi validasi output dengan ketat $0.10 / $0.22
DeepSeek V4.1 Flash Juga tersedia di paket flat seharga $60 per bulan per sesi, satu permintaan dalam satu waktu $0.175 / $0.52
GLM 5.3 Output terstruktur tercantum; harga tertinggi di antara keempatnya $0.78 / $3.46

Jalankan test set Anda di Qwen3.8 27B dan Gemma 4 VL 26B lebih dulu. Jika skor Gemma cukup dekat, model itulah pilihan yang lebih murah untuk label pendek. Pilih berdasarkan angka Anda, bukan berdasarkan tabel ini.

Bagaimana menguji classifier?

  1. Beri label manual pada 200 pesan nyata bersama penutur asli, memakai definisi label di atas. Sertakan setiap dialek yang Anda terima, minimal 30 per dialek.
  2. Jalankan model pada ke-200 pesan.
  3. Hitung macro F1, yaitu rata-rata skor F1 per label, agar label yang jarang dihitung setara dengan label yang umum. Akurasi saja menyembunyikan model yang tidak pernah menjawab cancel.
  4. Baca confusion matrix-nya. Jika question dan complaint sering tertukar, definisinya tumpang tindih: perbaiki definisinya sebelum mengganti model.
  5. Pisahkan hasil per dialek. Model bisa kuat di MSA dan lemah di dialek Teluk.
# pip install scikit-learn
from sklearn.metrics import classification_report, confusion_matrix
pred = [classify(t)["label"] for t in texts]
print(classification_report(gold, pred, labels=LABELS, digits=3))
print(confusion_matrix(gold, pred, labels=LABELS))

Jalankan ulang set yang sama setiap kali Anda mengubah prompt atau model. Cara mengevaluasi LLM sebelum beralih membahas cara mempertahankan test set yang tetap.

Bagaimana melakukan klasifikasi dalam volume besar?

Klasifikasi berat di sisi input: system prompt yang panjang, pesan yang pendek, dan jawaban satu kata. Tiga tuas yang penting.

Kelompokkan pesan per permintaan. Kunci API bayar sesuai pemakaian di BroadNet mengizinkan 30 permintaan per menit dan 4 yang berjalan bersamaan. Satu pesan per permintaan membatasi Anda pada 30 pesan per menit per kunci, atau 1.440 kali itu per hari. Kirim 20 pesan pendek sebagai daftar bernomor dan minta array JSON berisi 20 hasil: rate limit yang sama kemudian mencakup pesan dua puluh kali lebih banyak. Cek bahwa panjang array cocok dan setiap item membawa nomornya.

Jaga prefiks prompt tetap identik. System prompt dan contoh sama di setiap panggilan. Taruh keduanya di depan dan pesannya di akhir, agar bisa dibaca dari cache dengan harga input cache, misalnya $0.0435 alih-alih $0.175 per 1 juta token di Qwen3.8 27B. Cara menyusun prompt agar prefiksnya ter-cache.

Jaga output tetap pendek. Token output lebih mahal daripada input. Satu label dan satu kutipan pendek sudah cukup; hapus field bukti setelah Anda memercayai modelnya.

Bahasa Arab biasanya memakan lebih banyak token per kata daripada bahasa Inggris, jadi hitung contoh pesan Anda di penghitung token bahasa Arab, lalu hitung biaya sebulan di kalkulator biaya API LLM.

Kesalahan apa yang perlu dihindari?

  • Menguji dengan terjemahan bahasa Inggris. Teks terjemahan bukan cara pelanggan Anda menulis.
  • Satu skor untuk semua dialek. Laporkan setiap dialek secara terpisah.
  • Tidak ada label pelarian. Memaksa setiap pesan masuk ke label sungguhan menggelembungkan kesalahan.
  • Jawaban teks bebas. “Sepertinya negatif” tidak bisa di-parse. Minta JSON dan validasi.
  • Mengabaikan sarkasme. “ما شاء الله، ثالث مرة يتأخر الطلب” (Masya Allah, sudah ketiga kalinya pesanan terlambat) terbaca positif kata per kata padahal itu keluhan. Masukkan contoh seperti itu ke prompt.

Kapan LLM adalah classifier yang salah?

Ketika labelnya stabil, Anda sudah punya ribuan contoh berlabel, dan volumenya jutaan, model encoder bahasa Arab hasil fine-tuning biasanya lebih murah per pesan dan, menurut GPTAraEval, bisa lebih akurat. Untuk pekerjaan offline besar yang bisa menunggu, penyedia dengan batch API juga mungkin lebih murah: OpenAI menawarkan diskon 50% untuk batch job yang selesai dalam 24 jam. BroadNet tidak punya batch API. Pola yang umum adalah memakai LLM untuk melabeli beberapa ribu pesan pertama, mengeceknya secara manual, lalu melatih model kecil dari hasilnya.

Posisi BroadNet Inference

BroadNet memberi Anda model yang sudah diuji dalam bahasa Arab (Qwen3.8 27B), model murah yang bisa dipakai dengan kredit awal (Gemma 4 VL 26B), dan opsi tarif flat (DeepSeek V4.1 Flash) di balik satu kunci API yang kompatibel dengan OpenAI, tanpa menyimpan konten pesan setelah permintaan selesai. Itu cocok untuk tim support yang ingin mengklasifikasikan pesan berbahasa Arab tanpa membangun pipeline pelatihan. Itu tidak cocok untuk pekerjaan offline sangat besar ketika diskon batch atau model hasil fine-tuning akan lebih murah. Mulailah dengan prompt di atas, uji 200 pesan, dan artikel dialek Teluk, Mesir, dan Levant untuk menyusun test set.

Pertanyaan umum

Bisakah LLM melakukan analisis sentimen bahasa Arab?

Bisa, tanpa pelatihan, cukup dengan prompt berisi label dan contoh. Kualitasnya berbeda per dialek dan per kelas: dalam uji yang dipublikasikan, model tertinggal dari model bahasa Arab hasil fine-tuning di banyak tugas, dan skor dialek lebih rendah daripada bahasa Arab Standar Modern. Ukur pada data Anda sendiri.

Apakah LLM lebih baik daripada model BERT bahasa Arab hasil fine-tuning untuk klasifikasi?

Tidak selalu. GPTAraEval menemukan ChatGPT "consistently surpassed by smaller models that have undergone finetuning on Arabic" (Terjemahan BroadRouter: secara konsisten dikalahkan oleh model yang lebih kecil yang telah di-fine-tune dengan bahasa Arab) di 44 tugas. LLM unggul ketika contoh berlabel Anda sedikit, labelnya sering berubah, atau Anda butuh alasan untuk setiap label.

Bagaimana cara mengklasifikasikan pesan berbahasa Arab Teluk dan Mesir?

Beri model contoh berlabel untuk setiap dialek, beri tahu dialek apa saja yang harus diharapkan, dan nilai setiap dialek secara terpisah. Model yang bagus pada ulasan berbahasa Mesir tetap bisa melewatkan sarkasme Teluk.

Bagaimana mendapatkan label yang konsisten setiap kali?

Pakai daftar label tetap, minta JSON yang hanya berisi nilai-nilai itu, set temperature ke 0, dan tolak setiap balasan yang tidak ada di daftar. Kirim contoh yang sama dengan urutan yang sama agar hasilnya bisa diulang.

Berapa banyak pesan yang bisa saya klasifikasikan per hari di BroadNet?

Kunci API bayar sesuai pemakaian mengizinkan 30 permintaan per menit dan 4 sekaligus. Dengan satu pesan per permintaan, itu paling banyak 30 pesan per menit per kunci, atau 1.440 kali itu per hari. Memasukkan 20 pesan pendek di setiap permintaan menaikkannya dua puluh kali lipat, selama masih dalam batas konteks.

Apakah BroadNet punya batch API untuk klasifikasi massal?

Tidak. BroadNet hanya mendokumentasikan chat completions dan transkripsi. Untuk pekerjaan offline besar, kelompokkan pesan per permintaan, atau bandingkan dengan penyedia yang punya batch API; Batch API OpenAI menawarkan diskon 50% dengan jendela 24 jam.

Baca sebagai MarkdownTanya ChatGPTTanya ClaudeTanya Perplexity