BroadRouter

Baris Arab (tashkeel, Arabic diacritics)

Dikemas kini

Baris Arab, atau tashkeel, ialah tanda kecil yang ditulis di atas atau di bawah huruf untuk menunjukkan vokal pendek, konsonan berganda dan ketiadaan vokal. Ia pilihan: kebanyakan teks Arab, termasuk berita, meninggalkannya, jadi pembaca dan perisian meneka vokal daripada konteks.

Juga dikenali sebagai: baris, tanda baris, harakat, tashkeel, tashkil, diakritik Arab, baris atas, baris bawah, diacritization, Arabic diacritization, diacritics, vowel marks

Tiga huruf Arab yang sama boleh bermaksud “dia menulis”, “buku-buku” atau “ia telah ditulis”. Baris yang membezakannya, dan kebanyakan teks tidak meletakkannya.

Cara ia berfungsi

Unicode Standard memanggil tanda ini tashkil dan menyatakan ia “may be written as combining marks” (Terjemahan BroadRouter: “boleh ditulis sebagai combining marks”), kemudian menambah: “In normal writing, however, these marks are omitted.” (Terjemahan BroadRouter: “Walau bagaimanapun, dalam tulisan biasa, tanda ini ditinggalkan.”) Harakat ialah nama bagi subset vokal pendek. Setiap tanda ialah combining character tersendiri yang mengikuti huruf yang didudukinya. Tanda utama berada dalam julat U+064B hingga U+0652:

Code point Nama Peranan
U+064E FATHA a pendek
U+064F DAMMA u pendek
U+0650 KASRA i pendek
U+064B hingga U+064D FATHATAN, DAMMATAN, KASRATAN tanwin (akhiran -an, -un, -in)
U+0651 SHADDA konsonan berganda
U+0652 SUKUN tiada vokal

Contoh dengan perkataan كتب tanpa baris:

  • كَتَبَ (kataba), “dia menulis”
  • كُتُب (kutub), “buku-buku”
  • كُتِبَ (kutiba), “ia telah ditulis”

Tanpa tanda, ketiga-tiganya ialah rentetan yang sama. Pembaca memilih maksud berdasarkan ayat. Perisian perlu melakukan perkara yang sama, dan itulah tugas diacritizer. Zerrouki dan Balla (2017) membina korpus Tashkeela, kira-kira 75.6 juta perkataan, kebanyakannya bahasa Arab Klasik, kerana teks berbaris penuh jarang ditemui dan diacritizer memerlukannya untuk latihan. Fadel et al. (2019) melaporkan model diacritization neural yang menyamai atau mengatasi kerja terdahulu pada penanda aras awam, dan menunjukkan bahawa baris boleh membantu terjemahan mesin.

Library menganggap tanda ini sebagai satu set. AR_DIAC_CHARSET dalam CAMeL Tools merangkumi U+064B hingga U+0652 serta U+0670 (superscript alef), dan fungsi dediac_ar membuangnya.

Mengapa ia penting

  • Carian dan padanan. Perkataan yang sama yang ditaip dengan dan tanpa baris ialah rentetan yang berbeza. Buang baris daripada kunci carian sebagai sebahagian daripada penormalan teks Arab, jika tidak padanan tepat akan gagal.
  • Token. Setiap tanda ialah aksara tambahan untuk tokenizer. Teks berbaris penuh menggunakan jauh lebih banyak token berbanding teks tanpa baris; lihat panduan diacritization untuk nisbah yang diukur dan token setiap perkataan Arab untuk garis dasar.
  • Pertuturan dan penilaian. Transkrip biasanya dipulangkan tanpa baris. Kira kadar ralat perkataan selepas membuang baris daripada kedua-dua teks, jika tidak perkataan yang betul dengan fathah tambahan dikira sebagai ralat.
  • Bila anda memerlukannya. Text-to-speech, pengajaran bahasa, teks al-Quran dan puisi, serta nama yang kabur tanpa vokal.

Di BroadNet Inference

BroadNet tiada endpoint diacritization. Model chat menerima tashkeel sebagai teks biasa melalui POST /v1/chat/completions, jadi anda boleh meminta model seperti Qwen3.8 27B untuk menambah atau membuang baris. Cara yang selamat ialah menyemak jawapan dalam kod: buang baris dan bandingkan dengan input anda, huruf demi huruf. Artikel diacritization LLM mengandungi prompt dan semakan itu.

Untuk membuang baris, jangan gunakan model langsung. Regex pendek pada U+064B hingga U+0652 lebih pantas, percuma dan tepat. Arabic text normalizer menunjukkan kesannya dalam pelayar.

Soalan lazim

Perlukah saya membuang baris sebelum mengindeks teks Arab?

Untuk carian kata kunci, biasanya ya, pada kunci carian sahaja. Penulis Tashkeela menyatakan bahawa kebanyakan enjin carian mengabaikan baris. Simpan teks asal untuk paparan dan untuk LLM.

Mengapakah teks Arab berbaris menggunakan lebih banyak token?

Setiap tanda ialah aksara Unicode yang berasingan, jadi perkataan yang berbaris penuh mempunyai lebih banyak aksara untuk dipecahkan oleh tokenizer. Kira teks anda sendiri dengan pengira token sebelum dan selepas menambah tashkeel.

Bolehkah LLM meletakkan baris dengan boleh dipercayai?

Ia boleh meletakkannya, tetapi ia juga mungkin mengubah huruf. Buang tanda daripada jawapan dan bandingkan dengan input; tolak mana-mana jawapan yang hurufnya berubah.

Baca sebagai MarkdownTanya ChatGPTTanya ClaudeTanya Perplexity