[发明专利]一种通过智能手机采集脚型视频和传感器数据获取三维脚型的方法

权利要求书

1.一种通过智能手机采集脚型视频和传感器数据获取三维脚型的方法，其特征在于，该方法包括以下步骤：

(1)利用智能手机围绕裸脚旋转一圈采集脚型视频和传感器数据，将视频分解成视频帧，并取部分帧作脚型区域分割预处理，同时对脚型数据库中的参考脚型模型求法向量；

(2)根据多视角立体几何的约束关系，检测视频帧中的特征点并进行匹配，计算摄像机内外参数，恢复特征点对应的三维点云坐标；

(3)加入IMU数据，对步骤2得到的摄像机参数和三维点云坐标进行修正，包括修复多视角算法失败无法求得摄像机参数的情况和移动三维点云坐标以减小三维坐标计算误差；

(4)从已有的脚型数据库中选择相似的参考脚型模型，对齐重建脚型模型和参考脚型模型，并对重建脚型模型进行去噪、光滑、表面重建处理；

(5)根据重建脚型模型和参考脚型模型之间的局部和整体对齐关系，对参考脚型模型进行形变使其拟合重建脚型模型，输出最终的重建脚型模型结果。

2.根据权利要求1所述的一种通过智能手机采集脚型视频和传感器数据获取三维脚型的方法，其特征在于，所述步骤(1)具体包括以下子步骤：

(1.1)用带有陀螺仪和加速计的智能手机绕脚360度拍摄视频一圈回到原点，拍摄时在脚底放置一张A4纸，拍摄过程中记录陀螺仪和加速计的数值；拍摄场景中的物体尺寸与真实尺寸之间的比例以A4纸作为参考；

(1.2)将采集到的视频分解成视频帧，从视频帧中等间隔地选择部分帧进行分割前背景区域，得到视频帧对应的关于脚型区域的mask视频；通过检测视频帧中A4纸的角点和边获取A4纸区域，根据RGB像素值分割A4纸及在A4纸区域内的部分脚型区域；同时，对整幅视频帧进行边缘检测，得到包括脚型边缘在内的视频帧边缘视频；然后由A4纸区域内的脚型区域向外搜索填充，最终得到初步估计的脚型区域及非脚型区域；建立GMM模型，通过k-mean算法分别对脚型区域像素和非脚型区域像素进行聚类，得到GMM模型中每个高斯模型的像素样本集，然后根据RGB值计算每个高斯模型的参数均值和协方差，每个高斯模型的权值定义为属于该高斯模型的像素个数与总像素个数的比值；对每个像素分配GMM模型中的高斯模型，以给定的脚型区域和非脚型区域为参考学习优化GMM模型，迭代分割，最终得到对应视频帧的脚型轮廓视频；

(1.3)用Kalibr工具箱对IMU进行标定，求出IMU到摄像机的旋转矩阵，利用该旋转矩阵变换摄像机坐标系和IMU坐标系；对于参考脚型模型，顶点v_i的法向量由该顶点和周围k个邻近点共同确定；记顶点v_i的第j个邻近点为(j∈1,…,k)；模型中心点为c，则法向量同时满足：

其中Face{v_i}为包含点v_i的面片，几何意义为顶点v_i的法向量由以该点为顶点的面片的法向量的权重和，方向为由中心点指向顶点外侧；最终得到每个顶点和每个面片的法向量。

3.根据权利要求1所述的一种通过智能手机采集脚型视频和传感器数据获取三维脚型的方法，其特征在于，所述步骤(2)具体为：对每帧视频帧进行Brief和Freak特征点检测和提取，对视频帧两两进行特征匹配，计算单应矩阵，并按纯视觉方法计算基本矩阵、本质矩阵，对本质矩阵进行SVD分解求得初始的摄像机姿态参数，同时恢复特征点对应的三维点云坐标。