[发明专利]一种用于合影的虚拟人姿态生成方法

权利要求书

1.一种用于合影的虚拟人姿态生成方法，其特征在于，包括：该方法采用双重摄像捕捉系统，分别采集用户面部情态和身体姿态数据，并对用户面部情态和身体姿态数据进行时间同步，生成用户姿态表情数据；

将身体数据通过SMPL人体模型进行训练，生成虚拟训练数据，生成姿态特征向量，并通过对姿态特征向量和姿态表情数据对姿态影响程度进行逻辑回归，获得姿态影响因子；

将用户姿态表情数据和姿态影响因子作为约束项加入3D姿态预测模型拟合目标函数，实现目标函数最优化，动态调整虚拟人物姿态，实现用户与虚拟人物最佳合影。

2.根据权利要求1所述的一种用于合影的虚拟人姿态生成方法，其特征在于，所述双重摄像捕捉系统包括两个AzureKinect摄像头，分别对面部情态和身体姿态进行实时采集，所述AzureKinect摄像头采集到的身体姿态数据包括：人体关节三维坐标与关节旋转四元数；所述AzureKinect摄像头采集到的面部情态数据包括：面部特征点数据及跟踪面部数据。

3.根据权利要求1所述的一种用于合影的虚拟人姿态生成方法，其特征在于，所述面部情态数据是通过CLNF模型进行面部特征数据提取，获取面部标签，并采用Shape模型及Patch模型来构建面部模型，得到表情分类和回归。

4.根据权利要求3所述的一种用于合影的虚拟人姿态生成方法，其特征在于，对用户面部情态和身体姿态数据进行时间同步具体包括以下步骤：

S11：对双重摄像头进行空间标定，并将采集到的面部图像加入时间戳，封装成面部情态数据结构；

S12：将采集到的身体姿态加入时间戳，封装成身体姿态数据，

S13：匹配面部情态数据和身体姿态数据对应的时间戳，按照时间戳先后重新组合，生成时隙误差低于T的面部情态及身体姿态数据。

5.根据权利要求4所述的一种用于合影的虚拟人姿态生成方法，其特征在于，生成时隙误差低于T的面部情态及身体姿态数据中，T为0.5-1.5μs。

6.根据权利要求1所述的一种用于合影的虚拟人姿态生成方法，其特征在于，将身体数据通过SMPL人体模型进行训练，生成虚拟训练数据，具体包括以下步骤：

S21：提取身体数据中的关节点信息，并通过HMR算法得到SMPL模型；

S22：通过ICP算法将每个关节点都通过X、Y、Z三个值来描述关节点的空间位置，X、Y值是相对于骨骼平面空间的位置，将骨骼坐标点转换到对应的深度数据影像中，进行SMPL模型优化；

S23：通过投影将优化后的SMPL模型叠加到彩色图像上，生成虚拟训练数据，得到虚拟人体姿态成像。

7.根据权利要求6所述的一种用于合影的虚拟人姿态生成方法，其特征在于，生成姿态特征向量，并通过对姿态特征向量和姿态表情数据对姿态影响程度进行逻辑回归，获得姿态影响因子，具体包括以下步骤：

S31:将身体数据中的关节点信息R(β_i)组成集合，计算出集合中所有相邻关节之间姿态角θ_i，通过罗德里格斯公式计算出姿态特征向量I(θ_i)，所述β_i表示人体姿态参数，所述姿态角θ_i表示相邻关节之间旋转的轴角；

S32:采用Holt双参指数平滑算法对面部情态参数进行平滑预测，并匹配姿态得到匹配后的面部情态Q_i；

S33:通过将用户姿态与虚拟人姿态之间的对姿态特征变化进行判定，输出匹配度结果Y；

S34：构建以姿态特征向量I(θ_i)和面部情态Q_i为自变量X_j，匹配度结果Y为因变量的二元逻辑回归模型，得出影响匹配度Y的主要影响因子，并进行因子分析，得到成分矩阵。