Một tổng đài tạo ra hàng nghìn giờ âm thanh mỗi tháng, và gần như không ai đọc chúng. Bản chép lời giúp cuộc gọi tìm kiếm được. Bản tóm tắt giúp cuộc gọi duyệt lại được. Bài này xây dựng pipeline từ đầu đến cuối, với góc nhìn tiếng Ả Rập: phương ngữ, tiếng Ả Rập xen tiếng Anh, và chữ số Ả Rập phương Đông.
Các bước:
- Kiểm tra bản ghi: stereo hay mono?
- Tách stereo thành kênh nhân viên và kênh khách hàng.
- Cắt mỗi kênh thành các lượt nói.
- Chép lời từng lượt với đúng ngôn ngữ.
- Ghép các lượt thành hội thoại theo thời điểm bắt đầu.
- Che PII trong văn bản.
- Tóm tắt bằng LLM thành các trường có cấu trúc.
Bước 1: bản ghi là stereo hay mono?
ffprobe -v error -show_entries stream=channels,sample_rate,duration -of csv=p=0 call.wav
# 2,8000,412.6 -> stereo, 8 kHz telephone audio, 6.9 minutes
Nhiều hệ thống ghi âm contact center lưu nhân viên trên một kênh và khách hàng trên kênh kia. Hướng dẫn contact center của AssemblyAI cũng nêu điểm này: với các kênh riêng, bạn tách được người nói mà không cần diarization. Hãy kiểm tra bên nào là ai trên vài cuộc gọi; không phải lúc nào nhân viên cũng ở kênh trái.
Bước 2: tách kênh stereo bằng ffmpeg như thế nào?
ffmpeg -i call.wav -af "pan=mono|c0=c0" -ar 16000 agent.wav
ffmpeg -i call.wav -af "pan=mono|c0=c1" -ar 16000 customer.wav
Bộ lọc pan giữ lại một kênh, và -ar 16000 lấy mẫu lại về 16 kHz, định dạng mà tài liệu của BroadNet dùng cho ghi âm điện thoại.
Bước 3: cắt mỗi kênh thành các lượt nói như thế nào?
Đây là một dạng đơn giản của phát hiện giọng nói (VAD). Gửi trọn từng kênh vẫn chạy được, nhưng bạn trả tiền cho từng giây im lặng trong lúc bên kia nói, gần như gấp đôi hóa đơn với cuộc gọi stereo. Nó cũng làm mất thứ tự lượt nói. Cắt tại các khoảng lặng giải quyết cả hai:
import re, subprocess
def speech_turns(wav, noise="-35dB", min_silence=0.6):
"""Return (start, end) seconds of speech, using ffmpeg silencedetect."""
log = subprocess.run(
["ffmpeg", "-i", wav, "-af", f"silencedetect=noise={noise}:d={min_silence}", "-f", "null", "-"],
capture_output=True, text=True).stderr
dur = float(subprocess.run(
["ffprobe", "-v", "error", "-show_entries", "format=duration", "-of", "csv=p=0", wav],
capture_output=True, text=True).stdout)
starts = [float(x) for x in re.findall(r"silence_start: ([\d.]+)", log)]
ends = [float(x) for x in re.findall(r"silence_end: ([\d.]+)", log)]
turns, cursor = [], 0.0
for s, e in zip(starts, ends + [dur]):
if s - cursor > 0.4:
turns.append((cursor, s))
cursor = e
if dur - cursor > 0.4:
turns.append((cursor, dur))
return turns
Hãy tinh chỉnh noise trên bản ghi của bạn: đường dây nhiễu cần ngưỡng cao hơn như -30dB.
Bước 4: chép lời từng lượt như thế nào?
import os, tempfile
from openai import OpenAI
client = OpenAI(base_url="https://inference.broadnet.ai/v1", api_key=os.environ["BROADNET_API_KEY"])
def transcribe_turns(wav, speaker, language="ar"):
out = []
for start, end in speech_turns(wav):
with tempfile.NamedTemporaryFile(suffix=".wav") as seg:
subprocess.run(["ffmpeg", "-y", "-loglevel", "error", "-i", wav,
"-ss", f"{start:.2f}", "-to", f"{end:.2f}", seg.name], check=True)
with open(seg.name, "rb") as audio:
text = client.audio.transcriptions.create(
model="broadnet/cohere-transcribe-arabic", file=audio, language=language).text
out.append({"start": start, "speaker": speaker, "text": text.strip()})
return out
Luôn gửi language. Nếu không, tiếng Ả Rập có thể trả về bằng chữ Latin. Với hàng đợi tiếng Anh, hãy dùng broadnet/cohere-transcribe với language="en". Giữ một nhóm worker nhỏ: key trả theo mức dùng cho phép 4 request cùng lúc và 30 request mỗi phút, và hướng dẫn lỗi và retry chỉ cách backoff khi gặp 429.
Mỗi file phải dưới 25 MiB. Một đoạn độc thoại dài ở WAV mono 16 kHz (khoảng 32 KB mỗi giây) vượt mức đó ở khoảng 13 phút; hãy tách nó bằng -f segment -segment_time 600.
Bước 5: ghép các lượt thành hội thoại như thế nào?
turns = transcribe_turns("agent.wav", "Agent") + transcribe_turns("customer.wav", "Customer")
dialogue = "\n".join(f'{t["speaker"]}: {t["text"]}' for t in sorted(turns, key=lambda t: t["start"]))
Đoạn nói chồng lên nhau xuất hiện thành hai lượt có thời điểm bắt đầu gần nhau, đúng như người duyệt mong đợi.
Còn bản ghi mono thì sao?
Không có kênh riêng thì bạn cần phân tách người nói: xác định ai nói khi nào. Các lựa chọn:
| Lựa chọn | Cách làm | Đánh đổi |
|---|---|---|
| Diarization mã nguồn mở | Chạy pyannote.audio trên server của bạn, rồi chép lời từng đoạn của mỗi người nói | Bạn tự host một model; âm thanh ở lại chỗ bạn |
| Nhà cung cấp có sẵn diarization | Một số API chuyển giọng nói thành văn bản trả về nhãn người nói; xem so sánh giá để biết chi phí cộng thêm | Thêm một nhà cung cấp trong đường đi của dữ liệu |
| Gán vai trò bằng LLM | Chép lời các lượt, rồi nhờ LLM gán nhãn Nhân viên hoặc Khách hàng cho mỗi lượt dựa trên ngữ cảnh | Rẻ; sai với các lượt ngắn hoặc mơ hồ |
| Sửa từ gốc | Chuyển hệ thống ghi âm sang hai kênh | Giải pháp dài hạn tốt nhất |
BroadNet không có diarization, nên với âm thanh mono hãy kết hợp với một trong ba lựa chọn đầu.
Bước 6: che PII, kể cả chữ số Ả Rập, như thế nào?
Người gọi đọc to số thẻ, IBAN và số điện thoại. Bản chép lời có thể viết chúng bằng chữ số phương Tây (0-9) hoặc chữ số Ả Rập phương Đông (٠-٩). Hãy chuẩn hóa trước, rồi mới che:
EASTERN = str.maketrans("٠١٢٣٤٥٦٧٨٩۰۱۲۳۴۵۶۷۸۹", "01234567890123456789")
def redact(text):
text = text.translate(EASTERN)
text = re.sub(r"\b(?:\d[ -]?){13,19}\b", "[CARD]", text)
text = re.sub(r"\b[A-Z]{2}\d{2}[A-Z0-9]{11,30}\b", "[IBAN]", text)
text = re.sub(r"\+?\d[\d -]{7,}\d", "[PHONE]", text)
return text
Con số cũng có thể được đọc thành chữ (“خمسة أربعة…”), và regex sẽ bỏ sót. Hãy lấy mẫu bản chép lời để đọc tay và thêm quy tắc cho những gì bạn tìm thấy. Cách tiếp cận rộng hơn có trong gửi dữ liệu nhạy cảm tới API LLM.
Bước 7: tóm tắt từng cuộc gọi bằng LLM như thế nào?
import json
summary = client.chat.completions.create(
model="broadnet/qwen3.8-27b",
response_format={"type": "json_object"},
messages=[
{"role": "system", "content": "Summarise this call centre dialogue. Reply in English JSON with keys: "
"reason, resolution, resolved (true/false), customer_sentiment, follow_up."},
{"role": "user", "content": redact(dialogue)},
],
).choices[0].message.content
print(json.loads(summary))
Qwen3.8 27B hỗ trợ structured output; hãy luôn parse và kiểm tra câu trả lời (cách làm). Thử nghiệm của chính BroadNet cũng cho thấy nó hiểu phương ngữ vùng Vịnh và Ai Cập. Hãy yêu cầu JSON tiếng Anh nếu dashboard của bạn bằng tiếng Anh, kể cả khi cuộc gọi bằng tiếng Ả Rập.
Cần kiểm tra chất lượng gì trước khi phân tích?
Dashboard xây trên bản chép lời tệ trông cũng tự tin y như dashboard xây trên bản chép lời tốt. Hãy thêm các bước kiểm tra này vào pipeline:
- Đảo kênh. Nếu nhãn nhân viên và khách hàng bị đảo trên một hệ thống ghi âm hay một hàng đợi nào đó, mọi chỉ số “nhân viên đã nói” đều sai. Hãy kiểm tra lượt đầu tiên: nhân viên thường mở đầu bằng lời chào và tên công ty.
- Bản chép lời trống hoặc quá ngắn. Một lượt không trả về chữ nào, hoặc một cuộc gọi dưới 20 từ, thường là im lặng, nhạc chờ hoặc file hỏng. Hãy đánh dấu nó thay vì tóm tắt.
- Sai ngôn ngữ. Một hàng đợi tiếng Anh bỗng ra văn bản tiếng Ả Rập, hoặc tiếng Ả Rập trả về bằng chữ Latin, cho thấy giá trị
languagebị sai. - Tóm tắt bị lệch. Mỗi tuần, hãy để một giám sát viên so sánh 20 bản tóm tắt với bản chép lời đầy đủ. Theo dõi tần suất
resolvedbị sai.
Hãy lưu bản chép lời theo từng lượt, không chỉ bản tóm tắt. Khi một bản tóm tắt bị khiếu nại, các lượt chính là bằng chứng của bạn.
Chép lời cuộc gọi tốn bao nhiêu?
Với việc cắt lượt nói, thời lượng âm thanh bị tính phí gần bằng thời gian nói. Với 1.000 giờ giọng nói tiếng Ả Rập:
- Chép lời: $252.00 với giá $0.0042 mỗi phút trên BroadNet Transcribe Arabic, hoặc $120.00 trên BroadNet Transcribe 14 ngôn ngữ cho các hàng đợi tiếng Anh.
- Tóm tắt: một cuộc gọi 7 phút thường là vài nghìn token. Hãy tính giá bằng công cụ tính chi phí API LLM với độ dài bản chép lời thật của bạn, và phần âm thanh bằng công cụ tính chi phí chuyển giọng nói thành văn bản.
BroadNet Inference phù hợp ở đâu
BroadNet đảm nhận bước 4 và bước 7 với một key và một base URL: tiếng Ả Rập và 13 ngôn ngữ khác cho chép lời, và các model chat đã được thử với tiếng Ả Rập cho phần tóm tắt. Âm thanh, bản chép lời và prompt không được lưu giữ (không lưu giữ dữ liệu), và BroadNet báo cáo model tiếng Ả Rập của mình đứng thứ 2/37 (số liệu tháng 9 năm 2026; bảng xếp hạng trực tiếp ngày 15 tháng 11, 2026 ghi nhận thứ 4/39) trên Open Universal Arabic ASR Leaderboard.
Nó không làm diarization, chép lời thời gian thực hay che dữ liệu thay bạn; những việc đó vẫn nằm trong pipeline của bạn. Trước khi cam kết, hãy thử các phương ngữ của bạn bằng phương pháp trong nhận dạng giọng nói phương ngữ Ả Rập.

