[发明专利]一种用于合影的虚拟人姿态生成方法

说明书

本发明公开了一种用于合影的虚拟人姿态生成方法，属于软件开发技术领域，包括：该方法采用双重摄像捕捉系统，分别采集用户面部情态和身体姿态数据，并对用户面部情态和身体姿态数据进行时间同步，生成用户姿态表情数据；将身体数据通过SMPL人体模型进行训练，生成虚拟训练数据，生成姿态特征向量，并通过对姿态特征向量和姿态表情数据对姿态影响程度进行逻辑回归，获得姿态影响因子；将用户姿态表情数据和姿态影响因子作为约束项加入3D姿态预测模型拟合目标函数，实现目标函数最优化，动态调整虚拟人物姿态，实现用户与虚拟人物最佳合影。

技术领域

本发明涉及软件开发技术领域，更具体地说，涉及一种用于合影的虚拟人姿态生成方法。

背景技术

虚拟现实技术在我们的日常生活中的应用逐渐增多，用户对虚拟人物的获取和逼真程度都提出较高要求，希望能够在三维虚拟环境中具有良好的虚拟人物形象，更多情况下还有用户形象与虚拟人物之间的互动需求。

在一些三维虚拟应用场景中，存在着虚拟人和用户之间的合影应用需求，其主要实现过程是通过计算机图形技术将数字化虚拟人姿势与用户姿势进行动态匹配。现有技术中，主要采用的实现方案是通过获取应用程序内部既存的虚拟人角色，该虚拟人角色具有内设的数种姿势，再通过图像识别算法自动匹配与用户姿势最优解方案，最后合成虚拟图像。

但是在实际使用过程中，固定设置的数种姿势无法匹配用户多样化的合影需求，特别是在加入周围的光、影、及其他环境景色后，虚拟人姿态和用户姿态的契合度曲线下降更加明显。即使加入标准化姿势指引提示，由于用户自身因素及环境的多样化，也无法很好地呈现具有动作协调并含有艺术美感的合影，不能满足用户的高端体验需求。

发明内容

1.要解决的技术问题

针对现有技术中存在的问题，本发明的目的在于提供一种用于合影的虚拟人姿态生成方法，本发明实时对用户姿态进行实时取样，且可以根据取样情况进行模型训练，并通过模型回归生成姿态影响因子，再通过3D姿态预测模型动态调整虚拟人物姿态，实现用户与虚拟人物合影。

2.技术方案

为解决上述问题，本发明采用如下的技术方案：

一种用于合影的虚拟人姿态生成方法，该方法采用双重摄像捕捉系统，分别采集用户面部情态和身体姿态数据，并对用户面部情态和身体姿态数据进行时间同步，生成用户姿态表情数据；

将身体数据通过SMPL人体模型进行训练，生成虚拟训练数据，生成姿态特征向量，并通过对姿态特征向量和姿态表情数据对姿态影响程度进行逻辑回归，获得姿态影响因子；

将用户姿态表情数据和姿态影响因子作为约束项加入3D姿态预测模型拟合目标函数，实现目标函数最优化，动态调整虚拟人物姿态，实现用户与虚拟人物最佳合影。

作为本发明的一种优选方案，所述双重摄像捕捉系统包括两个Azure Kinect摄像头，分别对面部情态和身体姿态进行实时采集，所述AzureKinect摄像头采集到的身体姿态数据包括：人体关节三维坐标与关节旋转四元数；所述AzureKinect摄像头采集到的面部情态数据包括：面部特征点数据及跟踪面部数据。

作为本发明的一种优选方案，所述面部情态数据是通过CLNF模型(ConstrainedLocalNeuralField)进行面部特征数据提取，获取面部标签，并采用Shape模型及Patch模型来构建面部模型，得到表情分类和回归。

作为本发明的一种优选方案，对用户面部情态和身体姿态数据进行时间同步具体包括以下步骤：

S11：对双重摄像头进行空间标定，并将采集到的面部图像加入时间戳，封装成面部情态数据结构；

S12：将采集到的身体姿态加入时间戳，封装成身体姿态数据，