[发明专利]一种用于虚拟人物模型无穿戴动捕全身节点的构建方法

说明书

本发明公开了一种用于虚拟人物模型无穿戴动捕全身节点的构建方法，通过根据用户行为生成用户的行为数据，其中，所述用户行为包括用户的肢体行为和用户的面部行为，对所述行为数据进行处理得到动作捕捉数据，根据所述动作捕捉数据生成用户的姿态数据，将所述用户的姿态数据与虚拟人物的姿态数据进行关联，利用所述用户的姿态数据驱动所述虚拟人物。通过本发明方案解决了虚拟人物只通过摄像头进行的全身动作捕捉，面部捕捉，手指捕捉，降低用户使用的设备成本。

技术领域

本申请涉及用于虚拟人物模型技术领域，特别是涉及一种用于虚拟人物模型无穿戴动捕全身节点的构建方法。

背景技术

在一些图像处理场景中，可以对人物的二维视频图像进行关键点识别和预测，从而获得人物的肢体关键点的三维位姿数据如空间位置坐标和姿态角进行建模或模型控制。例如，在一些直播场景中，可以对从主播终端获取到的二维直播视频图像进行人体肢体关键点位置识别，然后根据肢体关键点在二维图像中的坐标位置数据进行三维位姿数据预测，获得肢体关键点的三维位姿数据，最后根据三维位姿数据驱动对应的拟人物模型模仿主播的动作。

随着移动互联网的不断发展，直播技术也得到了飞速提升。在目前众多直播模式中，利用虚拟人物直播成为了一种较为流行的直播模式。虚拟直播模式，一般也需要真人对观众进行互动，而目前互动过程中，虚拟人物基本上只是脸部的表情互动，没有肢体动作和手部的动作互动，导致观众的观看代入感不好，整体的直播互动效果较差。如果为了充分展现肢体动作和手部的动作互动而采用全身动捕设备，则设备价格偏高，普通直播完全使用不了。

发明内容

基于此，针对上述技术问题，提供一种用于虚拟人物模型无穿戴动捕全身节点的构建方法，解决现有技术为了充分展现肢体动作和手部的动作互动而采用全身动捕设备，则设备价格偏高，普通直播完全使用不了的问题。

第一方面，一种用于虚拟人物模型无穿戴动捕全身节点的构建方法，所述方法包括：

通过光学摄像头采集用户行为生成相应的图像数据；所述用户行为包括用户的肢体动作和用户的面部表情；

根据所述图像数据生成动捕数据；

根据所述动捕数据确定用户的全身模型关键节点；

将所述用户的全身模型关键节点与预先建立的虚拟人物全身模型的关键节点进行对应关联；

调用虚拟人物全身模型，按照所述动捕数据驱动对应关联的虚拟人物全身模型的关键节点，使虚拟人物呈现的肢体动作和面部表情均与所述用户行为相一致。

上述方案中，可选的，根据所述图像数据生成动捕数据的过程，具体包括以下步骤：采用卷积神经网络根据所述图像数据生成动捕数据。

上述方案中，进一步可选的，所述生成相应的图像数据的过程中，还进行了去噪处理，其中所述去噪处理，具体采用中值滤波图像降噪法。

上述方案中，进一步可选的，所述全身模型关键节点包括骨骼节点、面部节点和手指节点。

上述方案中，进一步可选的，在所述方法之前还包括：所述虚拟人物全身模型的建立，包括以下步骤：通过设置虚拟人物的全身模型的关键节点建立虚拟人物全身模型；其中，所述虚拟人物全身模型的关键节点包括虚拟人物骨骼节点、面部节点和手指节点。

上述方案中，进一步可选的，利用three.js指令执行所述调用虚拟人物全身模型。

第二方面，一种用于虚拟人物模型无穿戴动捕全身节点的构建系统，所述系统包括：

采集模块：用于通过光学摄像头采集用户行为生成相应的图像数据；所述用户行为包括用户的肢体动作和用户的面部表情；

生成模块：用于根据所述图像数据生成动捕数据；