[发明专利]柔性体仿真方法和装置、电子设备、计算机可读存储介质

说明书

本申请实施例公开了一种柔性体仿真方法和装置、电子设备、计算机可读存储介质，其中，方法包括：获取视频流中至少一帧图像中包含的目标物体的位姿信息和/或关键点信息；基于位姿信息和/或关键点信息，确定至少一帧图像中每帧图像对应的柔性体组件的形变参数；基于每帧图像对应的柔性体组件的形变参数，对视频流对应的柔性体组件进行驱动，通过获得柔性体组件的形变参数对柔性体组件进行驱动，实现如脖子、耳朵、毛发等可弯曲的柔性体的模拟仿真，使柔性体组件的仿真动作更符合真实情况。

技术领域

本申请涉及计算机视觉技术，尤其是一种柔性体仿真方法和装置、电子设备、计算机可读存储介质。

背景技术

现在市场上存在多款用人脸实时的表情动作驱动虚拟形象做出对应表情的产品。这些产品可运行在计算机(personal computer，PC)端或移动端，通过对摄像头得到的三维(three dimensional，3D)或二维(two dimensional，2D)图像中的人脸进行关键点检测，可以较为精确地定位到面部各个部位的实时位置，并能对它们进行实时跟踪，使得即便是在人脸旋转大角度的情况下也能精准定位。得到具体关键点信息后，计算得到这些关键点所对应的表情系数，再在实时每一帧将每一组表情系数应用到虚拟人物的表情基底上，使其能做出与被检测人脸相同的表情。

发明内容

本申请实施例提供的一种柔性体仿真技术。

根据本申请实施例的一个方面，提供的一种柔性体仿真方法，包括：

获取视频流中至少一帧图像中包含的目标对象的位姿信息和/或关键点信息；

基于所述位姿信息和/或关键点信息，确定所述至少一帧图像中每帧图像对应的柔性体组件的形变参数；

基于所述每帧图像对应的柔性体组件的形变参数，对所述视频流对应的柔性体组件进行驱动。

可选地，在本申请上述任一方法实施例中，所述目标物体包括人脸；

所述基于所述位姿信息和关键点信息，确定所述至少一帧图像中每帧图像对应的柔性体组件的形变参数，包括：

基于所述每帧图像对应的柔性体组件从所述关键点信息中获得关联关键点信息；

基于所述位姿信息和关联关键点信息确定所述柔性体组件对应的动作系数；

基于所述动作系数和所述柔性体组件对应的表情基模型，确定所述柔性体组件的形变参数。

可选地，在本申请上述任一方法实施例中，所述动作系数为表示一个动作对应的动作完成度；

所述基于所述动作系数和所述柔性体组件对应的表情基模型，确定所述柔性体组件的形变参数，包括：

从所述柔性体组件对应的表情基模型中查找所述动作系数对应的形变参数，所述形变参数包括所述动作对应的形变幅度；

将所述动作系数对应的形变参数作为所述柔性体组件的形变参数。

可选地，在本申请上述任一方法实施例中，所述获取视频流中至少一帧图像中包含的目标物体的位姿信息和/或关键点信息之前，还包括：

为待执行柔性形变的所有所述柔性体组件建立所述表情基模型，其中，所述表情基模型对所述柔性体组件的形变幅度进行量化，不同形变幅度对应所述不同动作系数，每个所述柔性体组件对应一个所述表情基模型。

可选地，在本申请上述任一方法实施例中，所述柔性体组件包括至少一个网格点；

所述基于所述位姿信息，确定所述至少一帧图像中每帧图像对应的柔性体组件的形变参数，包括：

基于所述位姿信息确定所述柔性体组件中每个网格点在每帧图像中的位置；