BroadRouter

Taa marbuta (ة)

Aktualisiert

Taa marbuta (ة, U+0629) ist ein arabischer Buchstabe, der nur am Wortende vorkommt und oft feminine Substantive und Adjektive markiert. Er sieht aus wie Heh (ه, U+0647) mit zwei Punkten, daher werden beide in getipptem Text verwechselt, und viele Such-Normalisierer bilden ة auf ه ab.

Auch genannt: Taa marbuta, Ta marbuta, Teh marbuta, Tā marbūṭa, gebundenes T, ta marbuta, teh marbuta, taa marbouta

مدرسة und مدرسه sind für die meisten arabischen Leser dasselbe Wort, „Schule“. Für einen String-Vergleich sind sie verschieden. Taa marbuta ist der Grund.

So funktioniert es

Der Unicode-Standard führt TEH MARBUTA (U+0629) als Trailing Character, also als Zeichen, das nur am Ende eines Wortes oder Morphems vorkommt. Es verbindet sich nur nach rechts, also nur mit dem Buchstaben davor. Seine Form ist die Form von HEH (U+0647) am Wortende, plus zwei Punkte:

Zeichen Codepoint Unicode-Name Endform nach ب
ة U+0629 ARABIC LETTER TEH MARBUTA بة
ه U+0647 ARABIC LETTER HEH به

Weil sich die beiden am Wortende nur durch zwei Punkte unterscheiden, tauchen in getipptem Text beide Schreibweisen auf. Bouamor et al. (2018) stellen fest, dass Modernes Hocharabisch zwar eine Standardorthografie hat, die Dialekte aber nicht, und dass Menschen Wörter oft so schreiben, wie sie sie aussprechen. In informellem und dialektalem Arabisch sollten Sie also ein finales ه erwarten, wo ein Wörterbuch ة schreiben würde.

Such-Normalisierer führen die beiden zusammen. normalize_teh_marbuta_ar von CAMeL Tools ist ein schlichtes s.replace('ة', 'ه'), und der ArabicNormalizer von Lucene nennt „normalization of teh marbuta to heh“ (Übersetzung: „Normalisierung von Teh marbuta zu Heh“) als Regel.

Warum es wichtig ist

Recall. Wenn ة in ه aufgeht, findet eine Suche nach مدرسه auch Dokumente, die مدرسة schreiben, und umgekehrt. Es ist eine der Standardregeln der arabischen Textnormalisierung, neben der Vereinheitlichung von Alef und Hamza.

Zusammengelegte Wörter. Die Regel lässt auch Wörter zusammenfallen, die sich nur in diesem Buchstaben unterscheiden:

Original Bedeutung Nach ة zu ه
كرة Ball كره
كره Hass كره

Für die Suche ist ein gelegentlicher Fehltreffer meist ein fairer Preis. Für Entity Matching, Rechtschreibkorrektur oder juristische Texte behalten Sie die Unterscheidung bei und vergleichen die Originale.

Bewertung. Bei der Bewertung von Speech-to-Text zählt ein Transkript, das ه schreibt, wo die Referenz ة hat, als Wortfehler, sofern nicht beide gleich normalisiert werden. Entscheiden Sie das vor der Bewertung und legen Sie es offen.

Bei BroadNet Inference

Die API von BroadNet normalisiert keinen Text. Chat-Modelle erhalten und liefern ة und ه genau so, wie sie geschrieben sind, und BroadNet Transcribe Arabic liefert gewöhnlichen arabischen Text. Wenden Sie die ة-Regel in Ihrem eigenen Index- oder Bewertungscode an, auf beiden Seiten.

Wenn Sie ein Chat-Modell um Rechtschreibkorrektur bitten, prüfen Sie seine Änderungen im Code: Der Beitrag zur arabischen Rechtschreibkorrektur zeigt eine Prüfung per Diff. Für Indizes zeigen der Beitrag zur arabischen RAG-Suche und der Normalisierungsleitfaden, wo die Regel hingehört. Mit dem arabischen Text-Normalisierer können Sie die Regel an eigenen Strings ausprobieren.

Häufige Fragen

Warum nicht stattdessen ه auf ة abbilden?

Weil ه ein eigenständiger, häufiger Buchstabe ist, auch als Pronomensuffix mit der Bedeutung „sein“. Die Abbildung von ة auf ه geht nur in eine Richtung und lässt sich überall gefahrlos anwenden; die Umkehrung würde Buchstaben erfinden.

Gilt die Regel ة zu ه auch in der Wortmitte?

Taa marbuta kommt nur am Ende eines Wortes oder Morphems vor, in der Praxis ändert die Regel also nur Endbuchstaben. CAMeL Tools ersetzt jedes ة, ohne die Position zu prüfen.

Sollte eine Rechtschreibkorrektur ة wiederherstellen?

Das kann sie, aber ob ein finales ه ein ة sein sollte, hängt vom Wort und manchmal vom Dialekt ab. Lassen Sie das Modell korrigieren und prüfen Sie die Änderung dann im Code und im Review.

Als Markdown lesenChatGPT fragenClaude fragenPerplexity fragen