[发明专利]一种标记语言驱动的中国手语合成系统

说明书

技术领域

本发明涉及数字家庭技术领域，尤其涉及一种标记语言驱动的中国手语合成系统。

背景技术

随着人机交互技术的不断发展，具有高度真实感的虚拟形象(Embodied Agent)因其更低的人力消耗、更灵活的产生、编辑方式被广泛应用于各种交互领域，推动人机交互接口向着更为友好、自然的方式发展，手语合成更是其中的一项重要应用。由于聋人对由口语文法创建的书面文本存在阅读障碍使其对信息的接收效率远低于健听人，所以目前手语合成研究主要集中在自然文本到手语动画的实时翻译、合成技术，其核心作用是辅助聋人无障碍地接受和理解健听人创建的信息，为其搭建无障碍的信息交流平台。

手语作为一种独立的视觉语言，它的主要特点就是多模式(手、头部、面部表情、身体)协同发音，主要目的是表达语义和交流情感.在语言学中，韵律的概念最为突出的体现了人类表达中最有别于机器合成语言的特征：节奏、音调和情感等。在手语表达中，这种韵律特征更是通过多种发音方式协同表达，而且和语义、语法密切相关。现有手语合成系统主要研究手势的可视化方法，缺乏对于韵律特征的有效表达，尤其是非手部行为的表达，不仅影响合成效果的真实感还会导致可懂度的下降甚至产生理解上的歧义。

在智能虚拟人研究领域，越来越多的研究人员开始关注于人类交流过程中真实感姿态表达方式以及情绪变化对行为的影响等。其中，会话虚拟人(Embodied Conversational Agent，ECA)与手语合成有着最为相似的研究背景。ECA关注口语交流环境中虚拟人整体行为的产生，其中非语音行为的多模式协同作为口语表达的辅助要素对于传递语义和情感、构建真实感的虚拟人起十分重要的作用。ECA合成系统通过将人类学、心理学、语言学等多学科知识引入到虚拟人行为建模中，构建基于语义、情感、个性等特征量的多模式行为产生控制模型，提高合成行为的灵活性、多样性，使虚拟人能够更具智能化、情感化，更接近人类表达和交流时的真实状态。由于脱离了有声语言这种载体，手语中非语音行为所包含的信息远远超过了一般健听人交流中自然、随机、无特定表征的伴随动作中的信息量，在语言表达的可懂度和真实感上起决定性的作用，因此构建与手语表达特征相适应的多模式行为计算模型将对提高合成效果的可懂度和真实感起重要作用。

目前经典的手语合成架构如图1所示通常分为三个处理阶段。第一阶段，完成自然语言到手语语法结构的转换；第二阶段完成动画参数的生成；第三阶段完成绘制和渲染。在相邻的两个阶段间存在通用的、统一的数据接口，音韵层接口(phonetic-level interface)和绘制层接口(rendering-level interface)。完成从自然文本到绘制参数的数据转换。语音层接口即手语描述语言的引入，为分离合成内容的剖建阶段与产生阶段提供了有效的支持。手语描述语言既可以通过自然语言处理模块自动产生，又可以通过建立专属的编辑器提供便捷的内容编辑和共享。经规范化设计的手语描述语言填补了自然文本中所缺失的信息，增加了灵活性和可控性，为提升手语动画的表现力，提高真实感及可懂度奠定了基础。

手语中定义了五种音素，手形、手掌的朝向、位置、运动和非手部的行为，不同的音素组合构成了不同的手势。语言学家通过构建基于音素的符号系统来记录每个手势的构成，进而描述手语的表达内容。最初语言学上的手语符号系统只是作为手语的书面记录方式而被创建.现在这些符号描述被用作合成系统的语音层接口.提供准确的行为信息作为动画的驱动脚本。这些直觉化的符号描述虽然易于被人理解却不利于机器处理.所以目前大多数合成系统都设计了基于XML格式的标记文本作为符号系统的等价应用。

现有手语描述语言中存在如下需要改进的问题：

(1)缺乏中国手语特性支持现有手语描述语言还不具备普遍适用各种语言的能力，对中国手语中的一些特殊现象和组成结构并不适用。

(2)缺乏韵律标记现有手语描述语言建立在对字面内容翻译的基础上，缺乏对语义、韵律特征的描述。这类信息往往通过抽象描述进行定义，并可采用多种方式进行表达，在功能表述与行为选择间存在多对多的关系。尤其是在视觉语言中，韵律通过一种复杂的涉及全身运动的协作方式来表达，例如：疑问的语气可表现为头部的倾斜、眉毛的上扬或者其它依据上下文语义及个性原因所产生的行为。