[发明专利]基于Pareto优化查询的手部姿态识别方法

说明书

本发明涉及一种基于Pareto优化查询的手部姿态识别方法，属于基于视频的数据处理技术领域。该方法利用Poser软件建立多视点下的手部图像库树形模型，提取手部图像特征后建立特征空间与手姿态空间的映射关系，然后采用与Poser相同视点布置摄像机拍摄目标手势，基于Pareto优化查询方法将手部姿态估计中的图像匹配问题转化为多视点优化查询，实现不同视点图像层的并行搜索以提高查询效率，最后在查询获得的Pareto最优点集中，依据欧式距离选取与圆心最近距离位置的解作为姿态识别结果。本发明采用多摄像机布置消除手部自遮挡造成的姿态识别歧义，基于Pareto优化查询方法提高识别的准确性和实时性。

技术领域

本发明涉及一种基于Pareto(帕累托)优化查询的手部姿态识别方法，属于基于视频的数据处理技术领域。

背景技术

基于视频的无标记手姿态识别方法可以分为两大类：基于模型 (Model-Based)的方法和基于表观(Appearance-Based)的方法。

基于模型的方法利用3D手模型投影得到预测手型图像，比较其与实时采集图像之间差异，修正相应姿态参数。该方法跟踪精度较高，但要在高维手姿态空间中完成各维参数的搜索耗时巨大，有的学者，参见“I.Oikonomidis,N.Kyriazis, A.Argyros.基于遮挡和物理约束下的全自由度手部交互跟踪.2011年计算机视觉国际会议.2011:2088-2095”采用圆柱体，有的学者，参见“C.Qian,X.Sun,Y. Wei,X.Tang,J.Sun.基于深度的手部实时鲁棒跟踪.2014年计算机视觉与模式识别国际会议.2014:1106-1113”采用球体近似手模型，降低姿态空间维数，但仍无法满足实时跟踪的要求。

基于表观的方法通过预先给出的手势图像库，建立图像特征空间到姿态空间的映射，由图像特征直接估计姿态参数。相比较基于模型的方法，时间复杂度较低，易于达到实时性。但映射过程时间效率和准确率与手势图像库图像数量相关，特别为解决自遮挡问题，往往需要多视点下建立庞大的图像库以及高效的数据搜索算法的支持，即使通过索引机制加快图像检索效率，时间效率和准确率也是一对矛盾共同体。

发明内容

本发明提出了一种基于Pareto优化查询的手部姿态识别方法，将姿态识别中的逐层单目标图像匹配转化为多视点查询优化问题，实现不同视点层特征匹配的并行计算以降低时间消耗，并通过获得Pareto最优点集，抛弃不相似度较大的节点，有效降低数据点个数，提高识别效率。同时由于将不同视点层的相似度同时引入，不设定每层的筛选阈值，避免由于筛选阈值引起的误判，提高识别准确性。

本发明为解决其技术问题采用如下技术方案：

一种基于Pareto优化查询的手部姿态识别方法，包括如下步骤：

(1)构建手势特征库：利用Poser软件控制手部模型姿态参数获得多视点摄像机下不同手势图像，依据视点关系建立手势图像库树形模型，采用计算机图像处理方法提取对应手部图像特征，在树形模型下建立手势特征空间与姿态参数空间的映射关系；

(2)获得目标手势图像特征：采取与手势图像库相同视点布置摄像机拍摄目标手部图像，提取手部区域后采用步骤(1)中的图像处理技术提取目标手势不同视点下图像特征；

(3)Pareto优化查询：将步骤(2)拍摄得到的目标手势各视点图像特征与树形模型中对应视点层各个图像特征进行比较，不同视点层图像可以并行计算与目标手势对应视点下的图像不相似度，与同一手势不同视点图像的不相似度构成了一个多维空间数据点，称为Pareto点，与不同手势的比较就构成了多维空间的Pareto点集，然后通过点集中的严格支配关系求解出Pareto最优点集；

(4)手部姿态识别：在查询获得的Pareto最优点集中，根据欧式距离选取与圆心最近距离点，依据在树形模型下手势特征空间与姿态参数空间的映射关系获得最近距离点对应的手部姿态参数，实现手部姿态识别。