BroadRouter
Comenzar

Hamza

Actualizado

La hamza (ء) es la letra árabe que representa la oclusiva glotal. Se escribe sola o sobre un soporte: alef (أ إ), waw (ؤ) o yeh (ئ), y آ combina alef con madda. Como el texto escrito es irregular al respecto, los buscadores y la evaluación de voz suelen plegar las formas de alef en ا.

También llamado: hamza, hamza árabe, normalización de la hamza, formas de la hamza, hamzah, hamza normalization, hamza forms

La hamza es la pequeña marca que más a menudo separa una grafía árabe correcta de una frecuente. أحمد y احمد son el mismo nombre para un lector, pero cadenas distintas para un ordenador.

Cómo funciona

El estándar Unicode dice que “the hamza may occur above or below other letters” (traducción: la hamza puede aparecer encima o debajo de otras letras) y enumera alef, waw y yeh como soportes. Cada forma con soporte se codifica como un único carácter precompuesto:

Carácter Punto de código Nombre Unicode
ء U+0621 ARABIC LETTER HAMZA
أ U+0623 ARABIC LETTER ALEF WITH HAMZA ABOVE
إ U+0625 ARABIC LETTER ALEF WITH HAMZA BELOW
آ U+0622 ARABIC LETTER ALEF WITH MADDA ABOVE
ؤ U+0624 ARABIC LETTER WAW WITH HAMZA ABOVE
ئ U+0626 ARABIC LETTER YEH WITH HAMZA ABOVE

Unicode también define descomposiciones: أ, ؤ y ئ equivalen canónicamente a la letra base seguida de U+0654 ARABIC HAMZA ABOVE. Así, la misma أ visible puede llegar como uno o dos puntos de código. La normalización Unicode a NFC o NFKC vuelve a convertir ا + U+0654 en el único U+0623, por eso debe ejecutarse antes de cualquier regla de hamza.

El texto escrito no siempre marca la hamza, así que la misma palabra puede aparecer con أ, إ, آ o con ا sin marca. Esa es la variación que busca resolver la normalización. normalize_alef_ar de CAMeL Tools convierte إ أ ٱ آ en ا. El ArabicNormalizer de Lucene normaliza “hamza with alef seat to a bare alef” (traducción: la hamza con soporte de alef a un alef simple).

Por qué importa

  • Búsqueda. Un usuario escribe اسلام y su documento contiene إسلام. Sin la regla de alef, la búsqueda por palabras clave no lo encuentra. Consulte normalización de texto árabe.
  • Evaluación de voz. El Open Universal Arabic ASR Leaderboard calcula el WER tras “removing all punctuation as well as the diacritics, and normalizing characters with Hamzas and Maddas” (traducción: eliminar toda la puntuación y los diacríticos, y normalizar los caracteres con hamzas y maddas). Si calcula su propia tasa de error de palabras sin ese mismo paso, una transcripción correcta que omite una hamza cuenta como error, y sus cifras no serán comparables con las de la tabla.
  • El costo. Plegar la hamza fusiona palabras que solo difieren en ella. Los verbos سأل (preguntó) y سال (fluyó) se convierten ambos en سال. Las partículas إن y أن se convierten ambas en ان. Para la mayoría de las búsquedas es aceptable; para la corrección ortográfica o los textos legales, no.

En BroadNet Inference

La API de BroadNet transmite el texto sin cambios; el tratamiento de la hamza ocurre en su código. Las transcripciones de BroadNet Transcribe Arabic son texto árabe normal, así que aplique una misma normalización a la referencia y a la transcripción antes de evaluar. Envíe language=ar, como aconseja la documentación de BroadNet. La guía de voz a texto en árabe incluye la solicitud.

Para corregir la hamza en textos de usuarios, un modelo de chat puede ayudar; el artículo sobre corrección ortográfica muestra cómo comprobar que solo cambiaron los caracteres previstos. Para ver qué hace el plegado con sus cadenas, pruebe el normalizador de texto árabe.

Preguntas frecuentes

¿La hamza es una letra o un diacrítico?

Existen ambas visiones. Unicode codifica ء (U+0621) como letra, ARABIC LETTER HAMZA, y también tiene un HAMZA ABOVE combinable (U+0654) que se usa en las formas descompuestas.

¿Debo normalizar también ؤ y ئ?

Las herramientas habituales no lo hacen por defecto. La regla de alef de CAMeL Tools y la de Lucene cubren solo las formas de alef. Plegar los soportes waw y yeh aumenta aún más el recall, pero fusiona más palabras; pruébelo con sus consultas.

¿Un LLM corregirá las hamzas que faltan?

A menudo puede hacerlo como parte de la corrección ortográfica, pero compruebe que no cambió nada más. No use la copia corregida como clave de búsqueda sin normalizarla también.

Leer en MarkdownPreguntar a ChatGPTPreguntar a ClaudePreguntar a Perplexity