BroadRouter
Başlayın

Arapça lehçe tespiti (dialect identification)

Güncellendi

Arapça lehçe tespiti, bir metnin veya kaydın hangi Arapça varyantında olduğuna (Mısır, Körfez, Levant, Mağrip ya da Modern Standart Arapça) bölge, ülke veya şehir düzeyinde karar verme görevidir. Mesajları yönlendirmek, istem seçmek ve değerlendirme setlerini bölmek için kullanılır.

Diğer adları: Arapça lehçe tespiti, lehçe tespiti, lehçe tanıma, Arapça lehçe sınıflandırma, dialect identification, dialect detection, ADI, NADI

Kullanıcıya kendi lehçesinde yanıt vermeden önce hangi lehçede yazdığını bilmeniz gerekir. Lehçe tespiti budur.

Nasıl çalışır

Araştırma topluluğu bunu NADI ortak görevleriyle (Nuanced Arabic Dialect Identification) ölçer. NADI 2020, 21 Arap ülkesinde 100 vilayeti kapsayan tweet’ler kullandı; bir ülke düzeyi ve bir vilayet düzeyi alt görevi vardı. NADI 2024, bir cümle birkaç lehçede geçerli olabildiği için lehçe tespitini çok etiketli bir görev olarak tanımladı ve lehçesellik düzeyi üzerine bir alt görev ekledi. En iyi Alt Görev 1 sistemi 50,57 F1 aldı ve düzenleyiciler lehçe tespitinin hâlâ zor olduğunu yazıyor.

MADAR derlemi (Bouamor vd., 2018) yaygın bir kaynaktır: aynı seyahat alanı cümleleri 25 şehir lehçesine çevrilmiştir. 2.000 cümle 25 lehçenin hepsinde vardır; Doha, Beyrut, Kahire, Tunus ve Rabat için 10.000 cümle daha bulunur. Bu tür paralel veri, aynı anlamın her yerde nasıl yazıldığını görmenizi sağlar.

Pratikte çoğu ürünün daha kaba bir etikete ihtiyacı vardır. İşe yarar bir küme:

Etiket Kapsadığı
msa Modern Standart Arapça
gulf Suudi, Emirlik, Kuveyt, Katar, Bahreyn, Umman
egyptian Mısır
levantine Suriye, Lübnan, Ürdün, Filistin
maghrebi Fas, Cezayir, Tunus, Libya
other_or_unclear Irak, Yemen, Sudan, karışık veya çok kısa

Bunun için bir LLM istemi tek bir JSON nesnesi ister: etiket, bir güven düzeyi ve ipucunu veren kelimeler. Örneğin عايز أغير الباقة mesajı şöyle dönerdi:

{"dialect": "egyptian", "confidence": "high", "cues": ["عايز"]}

İpucu istemek hataları incelemeyi kolaylaştırır: ipucu bir MSA kelimesiyse etiket şüphelidir.

Neden önemli

  • Yönlendirme. Körfez müşterilerini Körfez temsilcilerine gönderin ya da yanıt istemini kullanıcının lehçesine çevirin.
  • Değerlendirme. Konuşma ve sohbet test setlerini lehçeye göre bölün. Lehçe konuşma tanıma yazısının gösterdiği gibi tek bir ortalama en zayıf grubu gizler.
  • Analitik. Birine yatırım yapmadan önce kullanıcılarınızın gerçekte hangi lehçelerde yazdığını bilin.

Karışık mesajlar yaygındır. Kullanıcılar tek satırda lehçe, MSA ve İngilizce arasında geçiş yapar; buna kod değiştirme (code-switching) denir. Tahmine zorlamak yerine bir “belirsiz” etiketi tutun.

BroadNet Inference’ta

BroadNet’in lehçe tespiti uç noktası yoktur. POST /v1/chat/completions üzerinde kendiniz kurabilirsiniz. BroadNet’in API referansı GLM 5.3 ve Qwen3.8 27B için yapılandırılmış çıktıyı belgeler; bu, sabit bir etiket listesine uygundur, bkz. yapılandırılmış çıktı. BroadNet, Qwen3.8 27B’yi Körfez ve Mısır lehçelerinin anlaşıldığı testlerden geçirdiğini bildirir. BroadNet hiçbir model için lehçe tespiti doğruluğu yayımlamaz; bu yüzden güvenmeden önce kendi mesajlarınızdan 100 kadarını elle etiketleyin ve modeli bunlara göre ölçün.

Arapça metin sınıflandırma yazısı bu tür görevler için istemleri, etiket listelerini ve puanlamayı ele alır; lehçeli Arapça da etiketlerin ne anlama geldiğini açıklar.

Sık sorulan sorular

Arapça lehçe tespiti ne kadar doğru?

Ayrıntı düzeyine ve metin uzunluğuna bağlıdır. NADI 2024'te en iyi sistem çok etiketli lehçe tespitinde 50,57 F1 aldı ve düzenleyiciler görevin hâlâ zor olduğu sonucuna vardı. Uzun mesajlarda bölge düzeyi etiketler, kısa mesajlarda ülke veya şehir etiketlerinden daha kolaydır.

Bir mesajda birden fazla lehçe olabilir mi?

Evet. Kısa veya nötr cümleler birkaç lehçede geçerli olabilir; NADI 2024'ün lehçe tespitini çok etiketli bir görev olarak tanımlamasının nedeni budur. "Belirsiz" ya da çok etiketli bir yanıta izin verin.

Ayrı bir sınıflandırıcıya ihtiyacım var mı?

Başlangıçta hayır. Sabit bir etiket listesiyle bir LLM hızlıca kurulur. Elle etiketlenmiş bir örneklemle ölçün; hacim veya doğruluk gerektirirse eğitilmiş bir sınıflandırıcıya geçin.

Markdown olarak okuChatGPT asistanına sorClaude asistanına sorPerplexity asistanına sor