Artificial Analysis 推出 Diarization Index 说话人分离基准：按词级说话人错误率 WDER 评测语音转文字 API，NVIDIA Nemotron 3.5 Transcribe 以 3.3% 领先，Voxtral Small Transcribe 3 以 7.5% 居次
Artificial Analysis 11 月 13 日发布 Diarization Index，专门衡量语音转文字 API 能否把每个词归到真正说话的人：指标是 WDER（被分给错误说话人或无人说话的词占比），测试集为 97 段 2–8 人英文对话，按 2 人、3–4 人、5–8 人三档等权平均。NVIDIA 开源权重的 Nemotron 3.5 Transcribe 以 3.3% 居首，Voxtral Small Transcribe 3 以 7.5% 排第二，也是有标价 API 里最准的；MAI-Transcribe-2 为 8.8%，速度最快之一。
核心要点速览
- 新指标 WDER =（分错说话人的词 + 无人说话时段的词）÷ 参与评分的参考词数，越低越好；AA 称不用 DER，因为对 API 而言 DER 主要在考词时间戳而不是谁在说话
- 测试集 97 段对话、每段约 2–9 分钟、总时长约 6.8 小时，真实与合成语音混合，大部分音频为私有留出集，另含约 126 分钟公开的 NOTSOFAR-1 会议录音
- 评测时直接调用各 API 并开启说话人分离，不告诉模型有几个人在说话，整段音频一次送入；价格包含单独收费的分离功能
- Nemotron 3.5 Transcribe 2 人对话 WDER 1.7%，5–8 人时也只有 5.6%；在人数最多的一档，其他所有 API 的 WDER 都超过 10%
- Voxtral Small Transcribe 3 为 7.5%、每千分钟 4 美元；MAI-Transcribe-2 为 8.8%、每千分钟 1.67 美元，每等 1 秒可转写 93.7 秒音频；Nemotron 3.5 Transcribe 是开源权重模型，AA 未列价格
关联模型 / 智能体 / 厂商:
⚡ Nemotron 3.5 Transcribe⚡ Voxtral Small Transcribe 3⚡ MAI-Transcribe-2🌐 Artificial Analysis🌐 NVIDIA🌐 Mistral AI🌐 Microsoft