[发明专利]一种中国手语视频过渡帧的合成方法

说明书

技术领域

本发明属于计算机图像处理的技术领域，具体地涉及一种中国手语视频过渡帧的合成方法。

背景技术

在中国有大量听障人群，手语是他们进行交流的语言。手语运用空间运动表达语义，是一种视觉空间语言。基于计算机合成的中国手语视频，具有较强的真实感和较好的可接受程度，其视觉语言表达界面更为形象生动，能够更好的服务听障人群，使他们能够与健听人一起感受高速发展的文明，具有极其广泛的社会意义。基于计算机合成手语视频时，若干手语词视频片段按照文本语法规则重新组合成新的手语视频，而时间轴上相邻的手语词视频片段在运动轨迹、手势等方面存在视觉差异，因此需要插入过渡视频帧以增强真实感。过渡视频帧的获得有两个途径，检索预先设定的视频帧数据库或者通过拼接图像块进行合成，前者要求采集任意两个可能邻接的手语词视频间的过渡数据，对数据采集和存储要求过高，因此合成过渡视频帧是实现基于视频手语合成的重要基础工作。

近几年，合成手语视频过渡帧成为了一个研究重点。吴宗宪等人于2005年提出了一种使用NURBS样条函数描述手部运动轨迹的方法，并且基于光流算法生成视频片段之间的过渡帧图像。王茹等人提出了一种基于多维语义模型的中国手语视频合成方法。该方法将多维语义描述的方法用在中国手语视频的合成中，利用人体的各个部件图像，合成视频过渡帧。此类方法通过合成视频过渡帧，使合成的手语视频过渡更加平滑，但是也存在一些不足。吴宗宪等人方法中的过渡手势形态选取和角度变化不够精确平滑，合成的过渡帧图像容易产生阴影和重叠现象；王茹等人的方法虽然很好的解决了手势形态变化不够平滑的问题，但是手势投影图像真实性不高，各个部件图像边界的拼接效果不够自然。

发明内容

本发明的技术解决问题是：克服现有技术的不足，提供一种中国手语视频过渡帧的合成方法，其大大减少了合成的过渡帧图像所产生的阴影和重叠、真实性高、边界的拼接效果自然。

本发明的技术解决方案是：这种中国手语视频过渡帧的合成方法，包括以下步骤：

(1)对校准视频帧中手的特征点进行标记，由这些特征点的二维坐标计算其三维坐标，并依据这些特征点的三维坐标对一个一般化的三维手模型进行比例调整；

(2)采用基于模板图的手部纹理生成算法，对步骤(1)的图像的纹理进行优化；

(3)将步骤(2)生成的手势图像与胳膊、躯干图像进行融合，生成视频过渡帧。

本发明基于单目视频的三维手模型重构方法和基于图像融合的手语视频过渡帧生成方法，从手势投影图像和部件图像拼接两个方面合成真实感较好的中国手语视频过渡帧，大大减少了合成的过渡帧图像所产生的阴影和重叠、真实性高、边界的拼接效果自然。

附图说明

图1是根据本发明的手特征点及其编号。

图2a和2b分别是根据本发明的手纹理模板图及纹理区域划分。

图3a和3b分别是根据本发明的手模型投影图像纹理区域与纹理模板图纹理区域的对应关系示意图。

具体实施方式

这种中国手语视频过渡帧的合成方法，包括以下步骤：

(1)对校准视频帧中手的特征点进行标记，由这些特征点的二维坐标计算其三维坐标，并依据这些特征点的三维坐标对一个一般化的三维手模型进行比例调整；

(2)采用基于模板图的手部纹理生成算法，对步骤(1)的图像的纹理进行优化；

(3)将步骤(2)生成的手势图像与胳膊、躯干图像进行融合，生成视频过渡帧。

本发明基于单目视频的三维手模型重构方法和基于图像融合的手语视频过渡帧生成方法，从手势投影图像和部件图像拼接两个方面合成真实感较好的中国手语视频过渡帧，大大减少了合成的过渡帧图像所产生的阴影和重叠、真实性高、边界的拼接效果自然。

优选地，步骤(1)包括以下分步骤：

(1.1)手部图像2D特征点标注；

(1.2)特征点三维坐标计算；

(1.3)特征点约束的一般化手模型形变；

(1.4)手势投影。