BroadRouter

ター・マルブータ(taa marbuta、ة)

更新日

ター・マルブータ(ة、U+0629)とは、語末にだけ現れるアラビア文字で、女性名詞や形容詞を示すことが多い文字です。2 つの点が付いたハー(ه、U+0647)のように見えるため、入力されたテキストでは両者が混同され、多くの検索用正規化は ة を ه に変換します。

別名: ター・マルブータ、ターマルブータ、タ・マルブータ、taa marbuta、ta marbuta、teh marbuta、taa marbouta

مدرسة と مدرسه は、多くのアラビア語の読み手にとって同じ「学校」という単語です。しかし文字列比較にとっては別の単語です。その原因がター・マルブータです。

仕組み

Unicode 標準は TEH MARBUTA(U+0629)を語末の文字、つまり語や形態素の末尾にしか現れない文字としています。右結合の文字なので、前の文字にだけつながります。字形は語末の HEH(U+0647)に 2 つの点を加えたものです。

文字 コードポイント Unicode 名 ب の後の語末形
ة U+0629 ARABIC LETTER TEH MARBUTA بة
ه U+0647 ARABIC LETTER HEH به

2 つは語末で 2 つの点しか違わないため、入力されたテキストには両方の綴りが現れます。Bouamor ら(2018)は、現代標準アラビア語には標準的な正書法がある一方で方言にはなく、人々は発音に合わせて綴ることが多いと指摘しています。そのため、くだけたテキストやアラビア語の方言のテキストでは、辞書なら ة と書くところに語末の ه が出てくると考えてください。

検索用の正規化は両者をまとめます。CAMeL Tools の normalize_teh_marbuta_ar は単純な s.replace('ة', 'ه') で、Lucene の ArabicNormalizer も “normalization of teh marbuta to heh”(訳:teh marbuta を heh に正規化する)をルールの 1 つに挙げています。

なぜ重要か

再現率。 ة を ه にまとめると、مدرسه というクエリで مدرسة と綴った文書が見つかり、その逆も同様です。これはアラビア語テキストの正規化の標準ルールの 1 つで、アリフやハムザの統一と並びます。

単語の統合。 このルールは、この 1 文字だけが違う単語も 1 つにしてしまいます。

元の語 意味 ة を ه にした後
كرة ボール كره
كره 憎しみ كره

検索では、ときどき起こる誤マッチは通常は許容できる代償です。エンティティのマッチング、スペル修正、法律文書では区別を残し、元の文字列で比較してください。

スコアリング。 音声認識の評価では、参照が ة の箇所を文字起こしが ه と書くと、両方を同じ方法で正規化しない限り単語誤りとして数えられます。スコアを出す前に決め、その旨を明記してください。

BroadNet Inference の場合

BroadNet の API はテキストを正規化しません。チャットモデルは ة と ه を書かれたとおりに受け取って返し、BroadNet Transcribe Arabic は普通のアラビア語テキストを返します。ة のルールは、自分のインデックスやスコアリングのコードで、両側に適用してください。

チャットモデルにスペル修正をさせる場合は、その編集をコードで確認してください。アラビア語のスペル修正の記事で差分ベースのチェックを紹介しています。インデックスについては、アラビア語 RAG 検索の記事と正規化ガイドが、このルールをどこに入れるかを示しています。アラビア語テキスト正規化ツールで、手元の文字列にルールを試すこともできます。

よくある質問

逆に ه を ة に変換しないのはなぜですか?

ه はそれ自体がよく使われる文字で、「彼の」を意味する代名詞の接尾辞にもなるからです。ة から ه への変換は一方向で、どこに適用しても安全ですが、逆にすると存在しない文字を作り出してしまいます。

ة から ه へのルールは語中にも適用されますか?

ター・マルブータは語や形態素の末尾にしか現れないので、実際にはこのルールが変えるのは語末の文字だけです。CAMeL Tools は位置を確認せず、すべての ة を置き換えます。

スペル修正で ة を復元すべきですか?

復元はできますが、語末の ه を ة にすべきかどうかは単語によって、ときには方言によって変わります。モデルに修正させてから、その変更をコードとレビューで確認してください。

Markdown で読むChatGPT に聞くClaude に聞くPerplexity に聞く