將手語AI交付使用者手中

2026-08-20 · Google DeepMind

將手語AI交付使用者手中

引言

Google DeepMind 手語團隊於 2026 年 8 月 12 日宣佈推出大規模多語言手語轉文字(Sign Language to Text,簡稱 SL2T)模型。這是手語AI領域的重要突破,首次將該技術從實驗室帶入消費級產品。

SL2T 目前已整合至 Pixel 11 的 Gboard 和 Live Transcribe 應用中,首先支援美國手語(ASL)到英語的實時轉換。未來將擴充套件至更多裝置和語言。

這一功能讓 deaf 和聽力障礙使用者能夠在原本需要打字的場景下直接使用手語,例如網頁搜尋、撰寫訊息或文件、向 Gemini 提問或執行任務。在 Live Transcribe 中,使用者還可以用手語回覆對話,實現更自然的交流。

根據測試者反饋,使用 ASL 手語輸入比用英語打字更快、更自然,也更令人愉悅。

手語的重要性

手語是全球 Deaf 社群的主要語言,也是 Deaf 文化身份的核心。不同 deaf 個體在手語、口語、閱讀和寫作能力上存在很大差異,因此需要支援多種互動模態。

手語處理技術能讓 deaf 使用者像聽力使用者受益於語音處理一樣獲得幫助,同時為 Deaf 和聽力社群之間的溝通架起橋樑。儘管具有顯著的社會價值,但手語AI的進展一直較為緩慢。這既源於技術上的複雜挑戰,也與社會上對手語工作原理的普遍誤解有關。

手語AI面臨的核心挑戰

與 spoken language 轉錄相比,手語翻譯存在兩大核心難點:

  • 語言獨立性:手語是具有自身語法和詞彙的獨立自然語言,並非簡單地將手部動作對映為單詞。因此需要真正的機器翻譯,而非順序的“手勢到單詞”轉換。
  • 視覺理解難度:手語透過手部、手臂、軀幹、頭部和麵部的同時性動作傳達意義。需要高幀率、精確的全身動作跟蹤,這是一項極具挑戰性的計算機視覺任務。

早期如“手語手套”等嘗試之所以受限,正是因為它們將手語簡單視為“手上的英語”,未能處理複雜的視覺感知和完整語言翻譯。SL2T 正是為解決這兩大挑戰而設計。

SL2T 的工作原理與技術創新

SL2T 採用以使用者為中心、受文化啟發的方法,並結合大規模資料訓練。模型在超過 10 萬小時、覆蓋 50 多種手語的資料上進行訓練,其中約四分之一為 ASL 資料。透過多語言、方言和不同熟練度資料的聯合訓練,模型能夠學習到共同的底層結構,實驗顯示其效能優於單一語言模型。

隱私保護設計:為保護使用者隱私,SL2T 不處理原始攝像頭畫面,而是使用裝置端的 MediaPipe Holistic 模型提取姿態關鍵點(pose landmarks),僅將這些幾何座標傳送至伺服器進行翻譯,原始影片會立即被丟棄。

直接翻譯機制:SL2T 直接將姿態座標序列翻譯為文字,繞過了傳統研究中廣泛使用的“gloss”(中間標註)步驟。Gloss 難以捕捉手語中非線性、非手動標記(non-manual markers)和空間構造等豐富特徵。直接從姿態點翻譯的方式消除了人為詞彙限制,使翻譯質量能夠隨資料規模直接提升。

效能表現與實際最佳化

根據 FLEURS-ASL(sd-test)等關鍵基準測試,SL2T 是目前最強大的手語翻譯模型。在 ASL 到英語的零樣本測試中,其 BLEURT 分數達到 70,遠超此前所有公開結果。

除了學術指標,團隊還重點最佳化了實際應用中的多項問題:

  • 最小化流式延遲,實現實時體驗
  • 防止在非手語輸入時的幻覺(hallucination)
  • 確保對 10% 左撇子手語者的公平性
  • 提升單手手語的識別效能(使用者常用一隻手持手機)

這些最佳化確保了 SL2T 不僅在實驗室指標上領先,更能在真實世界中為使用者提供可靠、易用的體驗。

意義與展望

SL2T 的推出讓手語AI真正進入使用者手中,為全球約 7000 萬 deaf 和聽力障礙人士帶來更平等的數字體驗。未來,隨著更多語言的支援和裝置端的持續最佳化,這一技術有望進一步縮小 Deaf 與聽力社群之間的溝通鴻溝。

原文連結