Open TTS 排行榜:面向多语言文本转语音与声音克隆的可扩展评估
2026-10-02 · Hugging Face
背景与挑战
截至2026年9月30日,Hugging Face Hub 上已有超过 8000 个文本转语音(TTS)模型。然而,现有的评估方法却显得碎片化且缺乏标准化。尽管基于人工偏好的竞技场排行榜(如 TTS Arena v2、Artificial Analysis 和 Voice Arena)通过收集用户投票计算 Elo 分数,被视为社区的有益参考,但它们面临以下局限:
- 扩展性不足:人工投票无法跟上 TTS 模型的发布速度,评估一个模型需要数周时间收集投票。
- 开源模型代表性不足:在 Artificial Analysis 的 92 个模型中,仅有 16 个为开放权重模型。这是因为接入 API 模型只需密钥,而竞技场运营方需自行托管开源模型,且商业供应商更有动力参与排名。
- 投票者一致性:无法确保同一投票者随时间推移保持一致的评判标准。
Open TTS 排行榜的客观指标
为解决上述问题,Open TTS 排行榜应运而生。它采用客观指标对模型性能进行互补性评估,将评估时间从数周缩短至数小时:
- 可懂度:使用在 Open ASR 排行榜上排名靠前的 Qwen3 ASR,计算提示词与生成音频转录文本之间的词错率(WER)和字符错率(CER)。
- 速度:在 H200 GPU 上测量批量离线推理的逆实时因子(RTFx),以及流式批量大小为 1 时的首音频延迟(TTFA)。
- 说话人相似度:计算生成音频与参考片段的 WavLM 说话人嵌入之间的余弦相似度(SIM)。
需要注意的是,该排行榜并不替代人工偏好排名。WER 和 SIM 仅作为可懂度和声音身份保留的代理指标,无法直接衡量自然度、表现力或听众偏好,但可为投票制排行榜提供模型筛选参考。
多语言与声音克隆评估
默认视图下,模型根据在 Seed TTS Eval 和 CV3 Eval 英语数据集上的宏观平均 WER 进行排名。Kokoro-82M、supertonic-3 和 s2-pro 在英语 WER 中名列前茅。
该榜单支持多语言切换。由于 Seed TTS Eval 仅包含英语和中文音频,其他语言得分仅基于 CV3 Eval。对于中文、日文和韩文等基于字符的语言,报告字符错率(CER)。在多语言表现上,OmniVoice、s2-pro 和 Fun-CosyVoice3-0.5B-2512 表现优异。
开启“声音克隆”选项后,可比较支持该功能的模型。表格中新增 SIM 列,并显示权衡 SIM、批量推理和模型大小的帕累托图。部分模型(如 higgs-tts-3-4b 和 VoxCPM2)在提供参考音频的声音克隆场景下,平均 WER 有所提升。
试听与流式性能
- 试听:数据不能说明一切,人工偏好仍是最终决定因素。“Listen”选项卡允许用户选择语言/数据集、是否对比声音克隆,并直接试听模型生成的音频进行对比。用户甚至可以对生成结果进行反馈投票,以帮助社区筛选垃圾信息和机器人。
- 流式性能:“Streaming”选项卡根据 TTFA 对模型的流式能力进行排名,量化用户在请求模型后等待可播放音频的时间。这对于语音代理和其他交互式应用至关重要。