将手语AI交付用户手中
2026-08-20 · Google DeepMind
将手语AI交付用户手中
引言
Google DeepMind 手语团队于 2026 年 8 月 12 日宣布推出大规模多语言手语转文本(Sign Language to Text,简称 SL2T)模型。这是手语AI领域的重要突破,首次将该技术从实验室带入消费级产品。
SL2T 目前已集成至 Pixel 11 的 Gboard 和 Live Transcribe 应用中,首先支持美国手语(ASL)到英语的实时转换。未来将扩展至更多设备和语言。
这一功能让 deaf 和听力障碍用户能够在原本需要打字的场景下直接使用手语,例如网页搜索、撰写消息或文档、向 Gemini 提问或执行任务。在 Live Transcribe 中,用户还可以用手语回复对话,实现更自然的交流。
根据测试者反馈,使用 ASL 手语输入比用英语打字更快、更自然,也更令人愉悦。
手语的重要性
手语是全球 Deaf 社区的主要语言,也是 Deaf 文化身份的核心。不同 deaf 个体在手语、口语、阅读和写作能力上存在很大差异,因此需要支持多种交互模态。
手语处理技术能让 deaf 用户像听力用户受益于语音处理一样获得帮助,同时为 Deaf 和听力社区之间的沟通架起桥梁。尽管具有显著的社会价值,但手语AI的进展一直较为缓慢。这既源于技术上的复杂挑战,也与社会上对手语工作原理的普遍误解有关。
手语AI面临的核心挑战
与 spoken language 转录相比,手语翻译存在两大核心难点:
- 语言独立性:手语是具有自身语法和词汇的独立自然语言,并非简单地将手部动作映射为单词。因此需要真正的机器翻译,而非顺序的“手势到单词”转换。
- 视觉理解难度:手语通过手部、手臂、躯干、头部和面部的同时性动作传达意义。需要高帧率、精确的全身动作跟踪,这是一项极具挑战性的计算机视觉任务。
早期如“手语手套”等尝试之所以受限,正是因为它们将手语简单视为“手上的英语”,未能处理复杂的视觉感知和完整语言翻译。SL2T 正是为解决这两大挑战而设计。
SL2T 的工作原理与技术创新
SL2T 采用以用户为中心、受文化启发的方法,并结合大规模数据训练。模型在超过 10 万小时、覆盖 50 多种手语的数据上进行训练,其中约四分之一为 ASL 数据。通过多语言、方言和不同熟练度数据的联合训练,模型能够学习到共同的底层结构,实验显示其性能优于单一语言模型。
隐私保护设计:为保护用户隐私,SL2T 不处理原始摄像头画面,而是使用设备端的 MediaPipe Holistic 模型提取姿态关键点(pose landmarks),仅将这些几何坐标发送至服务器进行翻译,原始视频会立即被丢弃。
直接翻译机制:SL2T 直接将姿态坐标序列翻译为文本,绕过了传统研究中广泛使用的“gloss”(中间标注)步骤。Gloss 难以捕捉手语中非线性、非手动标记(non-manual markers)和空间构造等丰富特征。直接从姿态点翻译的方式消除了人为词汇限制,使翻译质量能够随数据规模直接提升。
性能表现与实际优化
根据 FLEURS-ASL(sd-test)等关键基准测试,SL2T 是目前最强大的手语翻译模型。在 ASL 到英语的零样本测试中,其 BLEURT 分数达到 70,远超此前所有公开结果。
除了学术指标,团队还重点优化了实际应用中的多项问题:
- 最小化流式延迟,实现实时体验
- 防止在非手语输入时的幻觉(hallucination)
- 确保对 10% 左撇子手语者的公平性
- 提升单手手语的识别性能(用户常用一只手持手机)
这些优化确保了 SL2T 不仅在实验室指标上领先,更能在真实世界中为用户提供可靠、易用的体验。
意义与展望
SL2T 的推出让手语AI真正进入用户手中,为全球约 7000 万 deaf 和听力障碍人士带来更平等的数字体验。未来,随着更多语言的支持和设备端的持续优化,这一技术有望进一步缩小 Deaf 与听力社区之间的沟通鸿沟。