BroadRouter
Bắt đầu

Hamza (chữ hamza trong tiếng Ả Rập)

Cập nhật

Hamza (ء) là chữ cái tiếng Ả Rập biểu thị âm tắc thanh hầu. Nó đứng riêng hoặc nằm trên chữ đỡ: alef (أ إ), waw (ؤ) hoặc yeh (ئ), còn آ là alef kết hợp madda. Vì văn bản gõ tay viết hamza không nhất quán, tìm kiếm và chấm giọng nói thường gộp các dạng alef về ا.

Còn gọi là: hamza là gì, chữ hamza, chuẩn hóa hamza, các dạng hamza, hamza normalization, hamzah, hamza forms

Hamza là dấu nhỏ thường phân biệt cách viết tiếng Ả Rập đúng với cách viết phổ biến. أحمد và احمد là cùng một cái tên với người đọc, nhưng là hai chuỗi khác nhau với máy tính.

Cách hoạt động

Unicode Standard viết “the hamza may occur above or below other letters” (Bản dịch: hamza có thể nằm trên hoặc dưới các chữ khác), và liệt kê alef, waw và yeh là chữ đỡ. Mỗi dạng có chữ đỡ được mã hóa thành một ký tự dựng sẵn:

Ký tự Code point Tên Unicode
ء U+0621 ARABIC LETTER HAMZA
أ U+0623 ARABIC LETTER ALEF WITH HAMZA ABOVE
إ U+0625 ARABIC LETTER ALEF WITH HAMZA BELOW
آ U+0622 ARABIC LETTER ALEF WITH MADDA ABOVE
ؤ U+0624 ARABIC LETTER WAW WITH HAMZA ABOVE
ئ U+0626 ARABIC LETTER YEH WITH HAMZA ABOVE

Unicode cũng định nghĩa phân rã: أ, ؤ và ئ đều tương đương chính tắc với chữ gốc theo sau là U+0654 ARABIC HAMZA ABOVE. Vì vậy cùng một chữ أ nhìn thấy có thể đến dưới dạng một hoặc hai code point. Chuẩn hóa Unicode sang NFC hoặc NFKC biến ا + U+0654 trở lại thành một U+0623 duy nhất, và đó là lý do nó nên chạy trước mọi quy tắc hamza.

Văn bản gõ tay không phải lúc nào cũng viết hamza, nên cùng một từ có thể xuất hiện với أ, إ, آ hoặc ا trơn. Đó là sự khác biệt mà chuẩn hóa nhắm tới. normalize_alef_ar của CAMeL Tools ánh xạ إ أ ٱ آ về ا. ArabicNormalizer của Lucene chuẩn hóa “hamza with alef seat to a bare alef” (Bản dịch: hamza trên chữ đỡ alef thành alef trơn).

Vì sao quan trọng

  • Tìm kiếm. Người dùng gõ اسلام còn tài liệu của bạn có إسلام. Không có quy tắc alef, tìm kiếm từ khóa sẽ bỏ sót. Xem chuẩn hóa văn bản tiếng Ả Rập.
  • Chấm điểm giọng nói. Open Universal Arabic ASR Leaderboard tính WER sau khi “removing all punctuation as well as the diacritics, and normalizing characters with Hamzas and Maddas” (Bản dịch: loại bỏ mọi dấu câu cũng như dấu phụ, và chuẩn hóa các ký tự có hamza và madda). Nếu bạn tự chấm tỷ lệ lỗi từ (WER) mà không có bước tương tự, một bản chép lời đúng nhưng thiếu hamza sẽ bị tính là sai, và số liệu của bạn sẽ không so sánh được với leaderboard.
  • Cái giá phải trả. Gộp hamza làm nhập các từ chỉ khác nhau ở hamza. Động từ سأل (anh ấy đã hỏi) và سال (nó đã chảy) đều thành سال. Tiểu từ إن và أن đều thành ان. Với phần lớn tác vụ tìm kiếm thì chấp nhận được; với sửa chính tả hay văn bản pháp lý thì không.

Trên BroadNet Inference

API của BroadNet truyền văn bản đi nguyên vẹn; việc xử lý hamza diễn ra trong code của bạn. Bản chép lời từ BroadNet Transcribe Arabic là văn bản tiếng Ả Rập thông thường, nên hãy áp dụng cùng một bước chuẩn hóa cho cả văn bản tham chiếu lẫn bản chép lời trước khi chấm điểm. Hãy gửi language=ar như tài liệu BroadNet khuyên. Hướng dẫn chuyển giọng nói tiếng Ả Rập thành văn bản có sẵn request mẫu.

Để sửa hamza trong văn bản người dùng, một model chat có thể giúp; bài về sửa chính tả cho thấy cách kiểm tra rằng chỉ những ký tự dự định mới bị thay đổi. Để xem việc gộp ảnh hưởng thế nào tới chuỗi của bạn, hãy thử công cụ chuẩn hóa văn bản tiếng Ả Rập.

Câu hỏi thường gặp

Hamza là chữ cái hay dấu phụ?

Cả hai quan điểm đều tồn tại. Unicode mã hóa ء (U+0621) là một chữ cái, ARABIC LETTER HAMZA, và cũng có ký tự kết hợp HAMZA ABOVE (U+0654) dùng trong các dạng phân rã.

Có nên chuẩn hóa cả ؤ và ئ không?

Các công cụ phổ biến mặc định không làm vậy. Quy tắc alef của CAMeL Tools và quy tắc của Lucene chỉ bao gồm các dạng alef. Gộp cả chữ đỡ waw và yeh làm tăng recall thêm nhưng gộp nhiều từ hơn; hãy test trên truy vấn của bạn.

LLM có sửa được hamza bị thiếu không?

Thường là được, như một phần của việc sửa chính tả, nhưng hãy kiểm tra rằng nó không thay đổi gì khác. Đừng dùng bản đã sửa làm khóa tìm kiếm nếu không chuẩn hóa nó luôn.

Đọc dạng MarkdownHỏi ChatGPTHỏi ClaudeHỏi Perplexity