BroadRouter

Harakat bahasa Arab (tashkeel)

Diperbarui

Harakat bahasa Arab, atau tashkeel, adalah tanda kecil di atas atau di bawah huruf yang menunjukkan vokal pendek, konsonan ganda, dan ketiadaan vokal. Tanda ini opsional: sebagian besar teks Arab, termasuk berita, tidak memakainya, sehingga pembaca dan perangkat lunak menebak vokal dari konteks.

Disebut juga: harakat, harakat Arab, syakal, tanda baca Arab, baris Arab, fathah kasrah dammah, tashkeel, tashkil, diacritization, Arabic diacritization, diacritics, vowel marks

Tiga huruf Arab yang sama bisa berarti “dia menulis”, “buku-buku”, atau “telah ditulis”. Harakatlah yang membedakannya, dan sebagian besar teks tidak menuliskannya.

Cara kerjanya

Unicode Standard menyebut tanda-tanda ini tashkil dan mengatakan bahwa tanda itu “may be written as combining marks” (terjemahan: dapat ditulis sebagai combining mark), lalu menambahkan: “In normal writing, however, these marks are omitted.” (terjemahan: Namun, dalam tulisan biasa, tanda-tanda ini dihilangkan.) Harakat adalah nama untuk subset vokal pendek. Setiap tanda adalah karakter penggabung tersendiri yang mengikuti huruf tempatnya berada. Tanda utama ada di rentang U+064B sampai U+0652:

Code point Nama Fungsi
U+064E FATHA a pendek (fathah)
U+064F DAMMA u pendek (dammah)
U+0650 KASRA i pendek (kasrah)
U+064B sampai U+064D FATHATAN, DAMMATAN, KASRATAN tanwin (akhiran -an, -un, -in)
U+0651 SHADDA konsonan ganda (syaddah)
U+0652 SUKUN tanpa vokal (sukun)

Contoh dengan kata polos كتب:

  • كَتَبَ (kataba), “dia menulis”
  • كُتُب (kutub), “buku-buku”
  • كُتِبَ (kutiba), “telah ditulis”

Tanpa tanda, ketiganya adalah string yang sama. Pembaca memilih maknanya dari kalimat. Perangkat lunak harus melakukan hal yang sama, dan itulah tugas diacritizer (pemberi harakat otomatis). Zerrouki dan Balla (2017) membangun korpus Tashkeela, sekitar 75,6 juta kata yang sebagian besar bahasa Arab Klasik, karena teks berharakat lengkap langka dan diacritizer membutuhkannya untuk pelatihan. Fadel dkk. (2019) melaporkan model diakritisasi neural yang menyamai atau melampaui penelitian sebelumnya pada benchmark publik, dan menunjukkan bahwa harakat dapat membantu terjemahan mesin.

Pustaka memperlakukan tanda-tanda ini sebagai satu himpunan. AR_DIAC_CHARSET di CAMeL Tools berisi U+064B sampai U+0652 ditambah U+0670 (alif kecil di atas), dan fungsi dediac_ar menghapusnya.

Kenapa ini penting

  • Pencarian dan pencocokan. Kata yang sama yang diketik dengan dan tanpa tanda adalah string yang berbeda. Hapus tanda dari kunci pencarian sebagai bagian dari normalisasi teks Arab, atau pencocokan persis akan gagal.
  • Token. Setiap tanda adalah karakter tambahan bagi tokenizer. Teks berharakat lengkap memakai token jauh lebih banyak daripada teks polos; lihat panduan diakritisasi untuk rasio yang terukur dan token per kata bahasa Arab untuk angka dasarnya.
  • Ucapan dan evaluasi. Transkrip biasanya kembali tanpa tanda. Hitung word error rate setelah menghapus harakat dari kedua teks, atau kata yang benar dengan fathah tambahan akan dihitung sebagai kesalahan.
  • Kapan Anda membutuhkannya. Text-to-speech, pengajaran bahasa, teks Al-Qur’an dan puisi, serta nama yang ambigu tanpa vokal.

Di BroadNet Inference

BroadNet tidak punya endpoint diakritisasi. Model chat menerima tashkeel sebagai teks biasa melalui POST /v1/chat/completions, jadi Anda bisa meminta model seperti Qwen3.8 27B untuk menambahkan atau menghapus tanda. Pola yang aman adalah memeriksa balasan di kode: hapus harakat lalu bandingkan dengan input Anda, huruf demi huruf. Artikel diakritisasi dengan LLM berisi prompt dan pemeriksaannya.

Untuk menghapus, jangan pakai model sama sekali. Regex pendek atas U+064B sampai U+0652 lebih cepat, gratis, dan tepat. Normalizer teks Arab menunjukkan efeknya di browser.

Pertanyaan umum

Apakah saya harus menghapus harakat sebelum mengindeks teks Arab?

Untuk pencarian kata kunci, biasanya ya, tetapi hanya pada kunci pencarian. Penulis Tashkeela mencatat bahwa sebagian besar mesin pencari mengabaikan harakat. Simpan teks asli untuk ditampilkan dan untuk LLM.

Mengapa teks Arab berharakat memakan lebih banyak token?

Setiap tanda adalah karakter Unicode tersendiri, jadi kata yang berharakat lengkap punya lebih banyak karakter untuk dipecah tokenizer. Hitung teks Anda sendiri dengan penghitung token sebelum dan sesudah menambahkan tashkeel.

Bisakah LLM menambahkan harakat dengan andal?

Bisa menambahkannya, tetapi mungkin juga mengubah huruf. Hapus tanda dari balasan lalu bandingkan dengan input; tolak balasan yang hurufnya berubah.

Baca sebagai MarkdownTanya ChatGPTTanya ClaudeTanya Perplexity