[发明专利]一种基于手势识别的相似度阈值分析的手势运动平滑处理方法

说明书

技术领域

本发明涉及手势动画研究领域，更具体地说涉及到手势动画合成中基于手势识别的手势运动基元过渡帧定位方法。

背景技术

语言伴随性手势合成是以自然语言理解为基础，使用手势作为虚拟人语言信息表达的辅助输出方式。已有手势合成研究主要集中在以自然文本汉语词与手语词映射为基础的手语动画合成，并未考虑语言伴随手势，使得虚拟人类似于机器人一样机械运动，无法满足人机交互的智能性和交互性要求，在交互性和真实感方面还有待提升。在人机交互过程中，通过语言伴随性手势合成研究能够为人机交互中手势和语音协同表达提供解决方案，提高手势动画的真实感，实现虚拟人生动、形象、直观的视觉运动效果。

手势识别主要是通过分析手势具有的各种特征实现对手势的判断，这些特征主要包括颜色特征、纹理特征、形状特征、轮廓特征及动态手势具有的运动特征等。目前，手势识别系统主要分为基于数据手套的识别系统和基于视觉的识别系统。基于数据手套的识别系统主要通过传感器获取人手运动的信号，这种方式更有利于获取手势运动信息；然而,这些设备价格非常昂贵而且在使用这些设备的同时往往给用户带来诸多不便。但是，基于视觉的识别系统由于不需要价格昂贵的硬件设备，因此越来越适合人机交互技术。早期的基于视觉的手势识别系统往往需要对手势进行标记然后再进行图像处理；然而，目前基于视觉的手势识别系统主要是利用手势特征如手势颜色、手势形状、手势轮廓或其他深度信息进行识别。基于视觉的手势识别系统可以识别输入视频中的不同手势，并且用这些手势作为计算机的人工输入命令，并且可以建立包括有完整人物及其手势的图库、并且这种手势识别系统由于设备简单，因而使用方便有效。基于视觉的手势识别系统为人机交互提供了一种直观的交流方式。

语言伴随性手势作为一种动作语言，是手和手臂运动的统一，需要计算机动画来实现具体动作。人体的外形主要由皮肤和所附着骨骼肌肉运动决定的，因此，在描述手势动作之前必须先建立一个静态几何模型，通过激活具有大量关节的复杂模型，根据决定运动的几个主关节的最终角度可以确定手臂运动，从而创建精确灵活的基本手势动作单元——手势运动基元。根据伴随语言学和统计学分析，基于语言连贯表达的手势运动基元连接能够实现的手势和有声语言的协同表达，提高运动合成效果和真实感。然而，目前虚拟人并非基于真人图像建立，不够生动真实，并且虚拟人模型固定，无法根据环境和需要进行变换。

此外，手势和语言是时序并行输出的，手势运动要素会随着语言的连贯表达而时刻变化。当人们进行口语交流时形成连续不断的语流，同样手势姿态连续表达会生成相应的手势动作，语言和手势之间存在相互的层级关系。作为生成手势动画的基础，如何实现基本的手势动作在语言中的定位成为语言伴随学和虚拟现实技术的研究难点。随着计算机技术的进一步发展，数字媒体技术的出现为手势与语言映射提供了解决方案——音视频数据分析。通过对音视频数据进行分析，将其中的语言和手势进行转写，并标记对应位置，将能够有效地实现手势与语言的协同表达。

然而，现有的方法存在诸多不足源于所处理的主要是非结构化运动模型之间的过渡，运动过渡关键帧只能实现时序性，单纯靠关键帧数值相似度计算进行运动平滑容易造成运动细节丢失。大多数运动过渡都会在运动过程中产生一个微小的不连贯，但是如果一个运动序列仅是从一个运动姿态直接跳转到另一个运动姿态，将会产生运动跳跃现象影响动画合成的可理解性和真实感，主要以手臂运动为主的虚拟人手势动作之间平滑过渡则要更复杂些，因为两个手势动作之间运动幅度较大，前一个手势动作的最后一个手势姿态(最后一帧)与下一个手势动作的第1个手势姿态(第1帧)之间一般不存在运动相关性，并且它们之间的差别可以是任意的，如果不做平滑处理，必然导致手势动作的跳跃现象。

本发明利用具有结构化和实例化的手势运动模型不但消除了运动跨度过大导致运动过渡难以实现问题，还有效地实现了运动细节的增强与保持，还提出了关键帧相似度阈值分析的高阶四元数插值方法对待合成的整个关键帧序列(而不是仅对过渡帧)进行插值平滑以协调过渡前后的运动序列。

发明内容