[发明专利]一种中国手语视频过渡帧的合成方法有效

专利信息
申请号: 201410267089.8 申请日: 2014-06-16
公开(公告)号: CN104091318B 公开(公告)日: 2017-06-13
发明(设计)人: 王立春;朱婷婷;孔德慧 申请(专利权)人: 北京工业大学
主分类号: G06T5/50 分类号: G06T5/50;G06T17/00
代理公司: 北京中北知识产权代理有限公司11253 代理人: 冯梦洪
地址: 100124 *** 国省代码: 北京;11
权利要求书: 查看更多 说明书: 查看更多
摘要:
搜索关键词: 一种 中国 手语 视频 过渡 合成 方法
【权利要求书】:

1.一种中国手语视频过渡帧的合成方法,其特征在于:包括以下步骤:

(1)对校准视频帧中手的特征点进行标记,由这些特征点的二维坐标计算其三维坐标,并依据这些特征点的三维坐标对一个一般化的三维手模型进行比例调整;

(2)采用基于模板图的手部纹理生成算法,对步骤(1)的图像的纹理进行优化;

(3)将步骤(2)生成的手势图像与胳膊、躯干图像进行融合,生成视频过渡帧;

步骤(1)包括以下分步骤:

(1.1)手部图像2D特征点标注;

(1.2)特征点三维坐标计算;

(1.3)特征点约束的一般化手模型形变;

(1.4)手势投影;

步骤(2)包括以下分步骤:

(2.1)初始化,确定手势投影图像中指定区域中区块的最近邻:根据手纹理模板图的纹理区域划分和手模型特征点在投影图像上的二维坐标,将手势投影图像划分为59个投影区域,该59个投影区域至少包括手背、手心、食指指根、食指指中、食指指尖,分别与纹理模板图中的相应纹理区域对应,进行编号并建立索引;通过计算对应纹理区域四个顶点之间的仿射变换关系,利用仿射变换获得投影区域内的每个像素区块的最近邻区块;

(2.2)增殖阶段,对余下的区域进行自适应的区块匹配:进行奇数次迭代时,对图像进行从左上方向右下方的扫描处理,某区块左方和上方区块的最佳偏移量作为该区块的最佳偏移量的候选值;进行偶数次迭代时,对图像进行从右下方向左上方的扫描处理,某区块右方和下方区块的最佳偏移量作为该区块的最佳偏移量的候选值,此时偏移量为公式(9)

f(x,y)=arg min{D(f(x,y)),D(f(x+1,y)),D(f(x,y+1))} (9)

f(x,y)表示目标图像中坐标为(x,y)的区块与其在源图像中的最近邻区块的坐标偏移量;D(v)表示源图像中区块(x,y)与目标图像中区块((x,y)+v)的使用RGB的颜色值计算的欧式距离;

经过若干次迭代之后,手模型投影图像中的所有图像区块都在模板图像中找到了最近邻,对每一个图像像素都使用它的最近邻进行像素替换,实现手模型投影图像的纹理优化。

2.根据权利要求1所述的中国手语视频过渡帧的合成方法,其特征在于:步骤(1.2)中采用基于高斯分布的非刚性物体重构方法首先对输入的手特征点的图像坐标矩阵W采用秩3因式分解的方法分解为旋转矩阵R和平均刚性形状以及平移矩阵T;然后根据初始估计的旋转矩阵R,平移矩阵T,平均刚性形状采用最小二乘法最小化投影错误的方法得到初始的变形形状V和权重Z;接着计算出初始的高斯方差σ2;然后进入循环迭代更新参数的过程,更新的参数包括权重Z、平均刚性形状变形形状V、有信息缺失的图像坐标矩阵W*、旋转矩阵R、平移矩阵T;最后根据各个参数计算得出手特征点的三维信息S。

3.根据权利要求2所述的中国手语视频过渡帧的合成方法,其特征在于:步骤(1.3)中采用拉普拉斯表面编辑的方法对已有的手模型进行形变计算。

4.根据权利要求3所述的中国手语视频过渡帧的合成方法,其特征在于:步骤(1.4)中手模型经过OpenGL底层图形库渲染得到对应的手势投影图像,并且根据OpenGL中的模拟变换方法获得三维手模型的特征点在投影图像上的二维坐标和投影深度。

5.根据权利要求2所述的中国手语视频过渡帧的合成方法,其特征在于:步骤(3)采用公式(8)进行融合:

<mrow><mi>E</mi><mrow><mo>(</mo><mi>T</mi><mo>,</mo><mi>S</mi><mo>)</mo></mrow><mo>=</mo><msub><mi>&Sigma;</mi><mrow><mi>q</mi><mo>&Subset;</mo><mi>T</mi></mrow></msub><msub><mi>min</mi><mrow><mi>p</mi><mo>&Subset;</mo><mi>S</mi></mrow></msub><mrow><mo>(</mo><mi>D</mi><mo>(</mo><mrow><mi>q</mi><mo>,</mo><mi>p</mi></mrow><mo>)</mo><mo>+</mo><mi>&lambda;</mi><mi>D</mi><mo>(</mo><mrow><mo>&dtri;</mo><mi>Q</mi><mo>,</mo><mo>&dtri;</mo><mi>P</mi></mrow><mo>)</mo><mo>)</mo></mrow><mo>-</mo><mo>-</mo><mo>-</mo><mrow><mo>(</mo><mn>8</mn><mo>)</mo></mrow></mrow>

其中,Q=N(q)是一个w×w大小的图像区块并且目标像素q在这个区块的左上角,P=f(N(p))是一个w×w大小的图像区块,f代表对包含原像素p的区块P做几何和光照的转化,图像采用CIE L*a*b*颜色模型(Lab),所有的区块都有3个通道(L,a,b),λ为权值参数,D表示颜色距离的平方和,T表示目标图像即融合图像,S表示源图像即待拼接视频中的原始视频帧。

下载完整专利技术内容需要扣除积分,VIP会员可以免费下载。

该专利技术资料仅供研究查看技术是否侵权等信息,商用须获得专利权人授权。该专利全部权利属于北京工业大学,未经北京工业大学许可,擅自商用是侵权行为。如果您想购买此专利、获得商业授权和技术合作,请联系【客服

本文链接:http://www.vipzhuanli.com/pat/books/201410267089.8/1.html,转载请声明来源钻瓜专利网。

×

专利文献下载

说明:

1、专利原文基于中国国家知识产权局专利说明书;

2、支持发明专利 、实用新型专利、外观设计专利(升级中);

3、专利数据每周两次同步更新,支持Adobe PDF格式;

4、内容包括专利技术的结构示意图流程工艺图技术构造图

5、已全新升级为极速版,下载速度显著提升!欢迎使用!

请您登陆后,进行下载,点击【登陆】 【注册】

关于我们 寻求报道 投稿须知 广告合作 版权声明 网站地图 友情链接 企业标识 联系我们

钻瓜专利网在线咨询

周一至周五 9:00-18:00

咨询在线客服咨询在线客服
tel code back_top