[发明专利]柔性体仿真方法和装置、电子设备、计算机可读存储介质

权利要求书

1.一种柔性体仿真方法，其特征在于，包括：

获取视频流中至少一帧图像中包含的目标物体的位姿信息和/或关键点信息；

基于所述位姿信息和/或关键点信息，确定所述至少一帧图像中每帧图像对应的柔性体组件的形变参数；

基于所述每帧图像对应的柔性体组件的形变参数，对所述视频流对应的柔性体组件进行驱动。

2.根据权利要求1所述的方法，其特征在于，所述目标物体包括人脸；

所述基于所述位姿信息和关键点信息，确定所述至少一帧图像中每帧图像对应的柔性体组件的形变参数，包括：

基于所述每帧图像对应的柔性体组件从所述关键点信息中获得关联关键点信息；

基于所述位姿信息和关联关键点信息确定所述柔性体组件对应的动作系数；

基于所述动作系数和所述柔性体组件对应的表情基模型，确定所述柔性体组件的形变参数。

3.根据权利要求1所述的方法，其特征在于，所述柔性体组件包括至少一个网格点；

所述基于所述位姿信息，确定所述至少一帧图像中每帧图像对应的柔性体组件的形变参数，包括：

基于所述位姿信息确定所述柔性体组件中每个网格点在每帧图像中的位置；

基于所述柔性体组件中每个网格点在每帧图像中的位置，确定所述柔性体组件的形变参数。

4.根据权利要求1所述的方法，其特征在于，所述基于所述位姿信息，确定所述至少一帧图像中每帧图像对应的柔性体组件的形变参数，包括：

基于模拟计算矩阵和设定旋转中心获得所述柔性体组件中柔性形变区域的形变参数；

将所述柔性形变区域的形变参数作为所述柔性体组件的形变参数。

5.根据权利要求1所述的方法，其特征在于，所述基于所述位姿信息和所述关键点信息，确定所述至少一帧图像中每帧图像对应的柔性体组件的形变参数，包括：

基于所述位姿信息和所述关键点信息，确定所述至少两个骨骼中每个骨骼对应的移动变化量和旋转变化量；

基于所述每个骨骼对应的移动变化量和旋转变化量确定所述柔性体组件的形变参数。

6.根据权利要求1-5任一所述的方法，其特征在于，所述获取视频流中至少一帧图像中包含的目标图像的位姿信息和/或关键点信息，包括以下方式中至少一种：

利用第一神经网络对所述至少一帧图像进行关键点识别，获得所述关键点信息；

利用第一神经网络对所述至少一帧图像进行关键点识别，获得所述关键点信息；基于所述关键点信息确定所述至少一帧图像中的位姿信息；

基于第二神经网络对所述至少一帧图像进行位姿识别，获得所述位姿信息。

7.一种柔性体仿真装置，其特征在于，包括：

信息获取模块，用于获取视频流中至少一帧图像中包含的目标物体的位姿信息和/或关键点信息；

形变参数确定模块，用于基于所述位姿信息和/或关键点信息，确定所述至少一帧图像中每帧图像对应的柔性体组件的形变参数；

组件驱动模块，用于基于所述每帧图像对应的柔性体组件的形变参数，对所述视频流对应的柔性体组件进行驱动。

8.一种电子设备，其特征在于，包括：存储器，用于存储可执行指令；

以及处理器，用于与所述存储器通信以执行所述可执行指令从而完成权利要求1至6任意一项所述柔性体仿真方法的操作。

9.一种计算机可读存储介质，用于存储计算机可读取的指令，其特征在于，所述指令被执行时执行权利要求1至6任意一项所述柔性体仿真方法的操作。

10.一种计算机程序产品，包括计算机可读代码，其特征在于，当所述计算机可读代码在设备上运行时，所述设备中的处理器执行用于实现权利要求1至6任意一项所述柔性体仿真方法的指令。