مدرسة und مدرسه sind für die meisten arabischen Leser dasselbe Wort, „Schule“. Für einen String-Vergleich sind sie verschieden. Taa marbuta ist der Grund.
So funktioniert es
Der Unicode-Standard führt TEH MARBUTA (U+0629) als Trailing Character, also als Zeichen, das nur am Ende eines Wortes oder Morphems vorkommt. Es verbindet sich nur nach rechts, also nur mit dem Buchstaben davor. Seine Form ist die Form von HEH (U+0647) am Wortende, plus zwei Punkte:
| Zeichen | Codepoint | Unicode-Name | Endform nach ب |
|---|---|---|---|
| ة | U+0629 | ARABIC LETTER TEH MARBUTA | بة |
| ه | U+0647 | ARABIC LETTER HEH | به |
Weil sich die beiden am Wortende nur durch zwei Punkte unterscheiden, tauchen in getipptem Text beide Schreibweisen auf. Bouamor et al. (2018) stellen fest, dass Modernes Hocharabisch zwar eine Standardorthografie hat, die Dialekte aber nicht, und dass Menschen Wörter oft so schreiben, wie sie sie aussprechen. In informellem und dialektalem Arabisch sollten Sie also ein finales ه erwarten, wo ein Wörterbuch ة schreiben würde.
Such-Normalisierer führen die beiden zusammen. normalize_teh_marbuta_ar von CAMeL Tools ist ein schlichtes s.replace('ة', 'ه'), und der ArabicNormalizer von Lucene nennt „normalization of teh marbuta to heh“ (Übersetzung: „Normalisierung von Teh marbuta zu Heh“) als Regel.
Warum es wichtig ist
Recall. Wenn ة in ه aufgeht, findet eine Suche nach مدرسه auch Dokumente, die مدرسة schreiben, und umgekehrt. Es ist eine der Standardregeln der arabischen Textnormalisierung, neben der Vereinheitlichung von Alef und Hamza.
Zusammengelegte Wörter. Die Regel lässt auch Wörter zusammenfallen, die sich nur in diesem Buchstaben unterscheiden:
| Original | Bedeutung | Nach ة zu ه |
|---|---|---|
| كرة | Ball | كره |
| كره | Hass | كره |
Für die Suche ist ein gelegentlicher Fehltreffer meist ein fairer Preis. Für Entity Matching, Rechtschreibkorrektur oder juristische Texte behalten Sie die Unterscheidung bei und vergleichen die Originale.
Bewertung. Bei der Bewertung von Speech-to-Text zählt ein Transkript, das ه schreibt, wo die Referenz ة hat, als Wortfehler, sofern nicht beide gleich normalisiert werden. Entscheiden Sie das vor der Bewertung und legen Sie es offen.
Bei BroadNet Inference
Die API von BroadNet normalisiert keinen Text. Chat-Modelle erhalten und liefern ة und ه genau so, wie sie geschrieben sind, und BroadNet Transcribe Arabic liefert gewöhnlichen arabischen Text. Wenden Sie die ة-Regel in Ihrem eigenen Index- oder Bewertungscode an, auf beiden Seiten.
Wenn Sie ein Chat-Modell um Rechtschreibkorrektur bitten, prüfen Sie seine Änderungen im Code: Der Beitrag zur arabischen Rechtschreibkorrektur zeigt eine Prüfung per Diff. Für Indizes zeigen der Beitrag zur arabischen RAG-Suche und der Normalisierungsleitfaden, wo die Regel hingehört. Mit dem arabischen Text-Normalisierer können Sie die Regel an eigenen Strings ausprobieren.