[发明专利]基于虚拟人的手语新闻播报方法

说明书

技术领域

本发明涉及一种控制方法，特别是一种可以应用于电视节目双语播报的基于虚拟人的手语新闻播报方法。

背景技术

1998年日立公司成功开发了一个用于手语CAI的二维、三维动画软件，其中收集了手语单词4000多个，是目前较大型的手语教学软件。

2001挪威的东英格利亚大学、德国的汉堡大学等多个学术团体及公司的联合研究，开发出了ViSiCAST系统。该系统使用了运动捕获技术来捕捉运动数据，实现了从语音到英国手语的转换，目前已经应用到邮局等公共场所及网络上。

2004年Vcom3D公司开发了一套3D虚拟人的手语编辑软件，可以通过手语和脸部表情在互联网上和其他人交流。

2009年中国科学院计算技术研究所研发成功了“视频虚拟人手语编辑系统”，并将其应用在广播电视系统中。

但是现有的技术中都存在以下的问题：

1)虚拟人动作平滑与拟合问题

手语表达过程是一个连续手势姿态的变化过程。在手语合成系统中手语表达运动过程的描述与控制是建立在一系列称为关键帧的离散的特征姿态的基础上的，对关键帧进行插值从而生成连续的手势动作。然而对关键帧的选取以及差值算法的应用不当都会造成手势动作的变形，造成手语表意不准确。

(2)手语帧序列的优化问题

手语是一种通过手及手臂的运动来表达意思的特殊语言，与自然语言相比其在表意速度上存在着较大的差异。要将手语表达系统应用到电视新闻、天气预报、赛事解说等电视节目中，实现实时的手语翻译，如何对手语帧序列进行优化，在不影响表意的基础上，保证手语表述内容与播报画面内容在时间上的同步是一项重要技术。

发明内容

本发明为了克服上述现有技术的不足，本发明提供一种效果好的基于虚拟人的手语新闻播报方法。

本发明解决其技术问题所采用的技术方案是：提供一种基于虚拟人的手语新闻播报方法，其包括以下步骤：S1对虚拟人建模，实现关节角向量到虚拟人特定手势姿态的映射，生成手语帧序列；S2对手语新闻播报过程中手语与声音同步进行分析，对帧向量进行简化，计算帧权值，对帧序列进行优化；S3对视频流进行处理，从而将优化过的虚拟人手语表达的动画实时添加到视频流中，最终实现了手语与语音的同步播报。

本发明解决进一步技术问题的方案是：所述的步骤S1中，采用H-Anim标准对虚拟人进行建模。

本发明解决进一步技术问题的方案是：根据对H-Anim标准虚拟人关节层次结构的分析以及人体上肢关节自由度的约束，计算出虚拟人每个肢体的位置和方向。

本发明解决进一步技术问题的方案是：对帧向量进行简化包括以下步骤：a基于手指远指关节与其近指关节间的运动关联性，在帧向量中去掉除拇指之外的其余四指中表示关节的自由度，每只手中共计4个；b基于除拇指之外其余四指的指掌关节在屈曲方向的运动关联性，在帧向量中去掉中指及无名指中表示指关节的自由度以及指掌关节中表示屈曲方向的自由度，每只手中共计4个；c基于拇指腕掌关节与拇指指掌关节的运动关联性，在帧向量中去掉拇指中表示关节的自由度，每只手1个。

本发明解决进一步技术问题的方案是：所述的计算帧权值包括以下步骤：(1)在句子的起始处和末尾处增加两个虚拟帧，其帧向量分别与原句子首帧和末帧的帧向量相同；

(2)定义δ_(i-1，i)为第i帧与第i-1帧之间的变化量，其计算公式如下：