BroadRouter

阿拉伯语变音符号(tashkeel)

更新于

阿拉伯语变音符号(tashkeel)是写在字母上方或下方的小符号,用来标示短元音、辅音重叠和无元音。它们是可选的:包括新闻在内,大多数阿拉伯语文本都省略它们,读者和软件需要根据上下文推断元音。

又称: 阿拉伯语变音符号、阿拉伯语元音符号、阿拉伯语标音符号、变音符号、元音符号、tashkeel、tashkil、harakat、diacritization、Arabic diacritization、diacritics、vowel marks、Arabic diacritics

同样三个阿拉伯字母,可以表示“他写了”“书(复数)”或“它被写了”。区分它们的就是变音符号,而大多数文本恰恰不写。

工作原理

Unicode 标准把这些符号称为 tashkil,说它们 “may be written as combining marks”(译文:可以作为组合字符书写),接着又说:“In normal writing, however, these marks are omitted.”(译文:不过在日常书写中,这些符号会被省略。)harakat 指其中表示短元音的那一部分。每个符号都是独立的组合字符,紧跟在它所标注的字母之后。主要的符号位于 U+064B 到 U+0652:

码位 名称 作用
U+064E FATHA 短元音 a
U+064F DAMMA 短元音 u
U+0650 KASRA 短元音 i
U+064B 到 U+064D FATHATAN、DAMMATAN、KASRATAN 鼻音符 tanween(-an、-un、-in 词尾)
U+0651 SHADDA 辅音重叠
U+0652 SUKUN 无元音

以不带符号的 كتب 为例:

  • كَتَبَ(kataba),“他写了”
  • كُتُب(kutub),“书(复数)”
  • كُتِبَ(kutiba),“它被写了”

不加符号时,三者是完全相同的字符串。读者靠句子判断意思,软件也得这样做,这就是自动标音工具(diacritizer)的任务。Zerrouki 和 Balla(2017)构建了 Tashkeela 语料库,约 7560 万词,以古典阿拉伯语为主,原因是完整标注元音的文本很稀少,而训练标音工具又离不开它。Fadel 等(2019)报告的神经网络标音模型在一个公开基准上达到或超过了此前的成果,并表明变音符号能帮助机器翻译。

各种库都把这些符号当作一个集合处理。CAMeL Tools 的 AR_DIAC_CHARSET 包含 U+064B 到 U+0652,外加 U+0670(上标 alef),它的 dediac_ar 函数会去掉这些符号。

为什么重要

  • 搜索与匹配。 同一个词带不带符号,就是两个不同的字符串。作为阿拉伯语文本规范化的一步,要在搜索键上去掉它们,否则精确匹配会失败。
  • Token。 每个符号都是分词器要多处理的一个字符。完整标注元音的文本比不带符号的文本明显更费 token;实测比例见变音符号指南,基准数据见阿拉伯语每个词的 token 数。
  • 语音与评测。 转写结果通常不带符号。计算词错误率前,要把两边文本的变音符号都去掉,否则一个多了 fatha 的正确词也会被算作错误。
  • 需要符号的场景。 语音合成、语言教学、《古兰经》和诗歌文本,以及不标元音就会产生歧义的人名。

在 BroadNet Inference 上

BroadNet 没有自动标音端点。对话模型通过 POST /v1/chat/completions 把 tashkeel 当作普通文本接收,所以你可以让 Qwen3.8 27B 这样的模型添加或去掉符号。稳妥的做法是在代码里检查回复:去掉变音符号后,与输入逐个字母比较。用大模型标注变音符号一文给出了提示词和检查方法。

去掉符号则完全不需要模型。对 U+064B 到 U+0652 写一个简短的正则表达式,更快、免费且准确。阿拉伯语文本规范化工具可以在浏览器里展示效果。

常见问题

给阿拉伯语文本建索引前,要去掉变音符号吗?

做关键词搜索时,通常要去掉,但只在搜索键上去掉。Tashkeela 的作者指出,大多数搜索引擎都会忽略变音符号。展示给用户和发给大模型的仍然用原文。

为什么带变音符号的阿拉伯语更费 token?

每个符号都是一个独立的 Unicode 字符,所以完整标注元音的词有更多字符要让分词器切分。加 tashkeel 前后,请用 token 计数器数一数你自己的文本。

大模型能可靠地加上变音符号吗?

能加,但也可能改动字母。把回复里的符号去掉,再和输入比较;只要有字母被改动,就拒绝这条回复。

以 Markdown 格式阅读问 ChatGPT问 Claude问 Perplexity