Open TTS 排行榜:面向多語言文字轉語音與聲音克隆的可擴充套件評估
2026-10-02 · Hugging Face
背景與挑戰
截至2026年9月30日,Hugging Face Hub 上已有超過 8000 個文字轉語音(TTS)模型。然而,現有的評估方法卻顯得碎片化且缺乏標準化。儘管基於人工偏好的競技場排行榜(如 TTS Arena v2、Artificial Analysis 和 Voice Arena)透過收集使用者投票計算 Elo 分數,被視為社群的有益參考,但它們面臨以下侷限:
- 擴充套件性不足:人工投票無法跟上 TTS 模型的釋出速度,評估一個模型需要數週時間收集投票。
- 開源模型代表性不足:在 Artificial Analysis 的 92 個模型中,僅有 16 個為開放權重模型。這是因為接入 API 模型只需金鑰,而競技場運營方需自行託管開源模型,且商業供應商更有動力參與排名。
- 投票者一致性:無法確保同一投票者隨時間推移保持一致的評判標準。
Open TTS 排行榜的客觀指標
為解決上述問題,Open TTS 排行榜應運而生。它採用客觀指標對模型效能進行互補性評估,將評估時間從數週縮短至數小時:
- 可懂度:使用在 Open ASR 排行榜上排名靠前的 Qwen3 ASR,計算提示詞與生成音訊轉錄文字之間的詞錯率(WER)和字元錯率(CER)。
- 速度:在 H200 GPU 上測量批次離線推理的逆實時因子(RTFx),以及流式批次大小為 1 時的首音訊延遲(TTFA)。
- 說話人相似度:計算生成音訊與參考片段的 WavLM 說話人嵌入之間的餘弦相似度(SIM)。
需要注意的是,該排行榜並不替代人工偏好排名。WER 和 SIM 僅作為可懂度和聲音身份保留的代理指標,無法直接衡量自然度、表現力或聽眾偏好,但可為投票制排行榜提供模型篩選參考。
多語言與聲音克隆評估
預設檢視下,模型根據在 Seed TTS Eval 和 CV3 Eval 英語資料集上的宏觀平均 WER 進行排名。Kokoro-82M、supertonic-3 和 s2-pro 在英語 WER 中名列前茅。
該榜單支援多語言切換。由於 Seed TTS Eval 僅包含英語和中文音訊,其他語言得分僅基於 CV3 Eval。對於中文、日文和韓文等基於字元的語言,報告字元錯率(CER)。在多語言表現上,OmniVoice、s2-pro 和 Fun-CosyVoice3-0.5B-2512 表現優異。
開啟“聲音克隆”選項後,可比較支援該功能的模型。表格中新增 SIM 列,並顯示權衡 SIM、批次推理和模型大小的帕累託圖。部分模型(如 higgs-tts-3-4b 和 VoxCPM2)在提供參考音訊的聲音克隆場景下,平均 WER 有所提升。
試聽與流式效能
- 試聽:資料不能說明一切,人工偏好仍是最終決定因素。“Listen”選項卡允許使用者選擇語言/資料集、是否對比聲音克隆,並直接試聽模型生成的音訊進行對比。使用者甚至可以對生成結果進行反饋投票,以幫助社群篩選垃圾資訊和機器人。
- 流式效能:“Streaming”選項卡根據 TTFA 對模型的流式能力進行排名,量化使用者在請求模型後等待可播放音訊的時間。這對於語音代理和其他互動式應用至關重要。