[发明专利]一种多人虚拟直播方法、装置、电子设备及存储介质

说明书

本公开关于一种多人虚拟直播的方法、装置、电子设备及存储介质，该方法包括：识别视频流中当前帧图像中的所有第一个体部件信息，包括：第一面部信息、第一肢体信息、第一手部信息，获取上一帧图像中已识别的所有第一个体身份信息，即属于相同个体的第二个体部件信息，将各个第一个体部件信息分别与第一个体身份信息中对应的第二个体部件信息进行匹配，识别当前帧图像中的第一个体部件信息所属的第二个体身份信息，根据第二个体身份信息对应的个体姿态变化，驱动对应的虚拟形象的姿态变化。本公开通过帧间信息的匹配，避免了多人虚拟直播中虚拟形象配对错误，画面崩坏的问题，达到了多人虚拟直播的效果，增加了直播过程的互动性和趣味性。

技术领域

本公开涉及网络直播技术领域，尤其涉及一种多人虚拟直播方法、装置、电子设备及存储介质。

背景技术

通过虚拟形象进行直播，即虚拟直播越来越成为直播业务的重要组成部分，其中，需要对虚拟形象进行预先设计，以及在虚拟直播过程中对直播者的面部、肢体、行为进行识别，从而对虚拟形象进行识别以进行虚拟直播。通过虚拟直播，能够在实现直播者与观众互动的情况下，以虚拟形象增加直播的趣味性。

现有的虚拟直播技术中，仅仅只能实现单人直播，缺乏多人互动性，在多人合作直播或团队直播的情况下，难以推广虚拟直播，限制了虚拟直播的应用范围。如果直接由单人虚拟直播技术转而进行多人虚拟直播，在识别直播者面部、肢体、行为后，就有可能会出现不同人像肢体的匹配错误、不同人像间的互动行为冲突等的问题，导致虚拟直播画面崩坏，无法正常进行。

发明内容

本公开提供一种多人虚拟直播的方法、装置、电子设备及存储介质，以至少解决相关技术中无法实现多人虚拟直播的问题。本公开的技术方案如下：

根据本公开实施例的第一方面，提供一种多人虚拟直播的方法，包括：

识别视频流中当前帧图像中的所有第一个体部件信息，所述第一个体部件信息包括：第一面部信息、第一肢体信息、第一手部信息；

获取上一帧图像中已识别的所有第一个体身份信息，所述第一个体身份信息用于标识所述上一帧图像中属于相同个体的第二个体部件信息；

对所述当前帧图像中的每一个第一个体部件信息分别与所述第一个体身份信息中对应的第二个体部件信息进行匹配，识别所述当前帧图像中的各第一个体部件信息所属的第二个体身份信息；

根据所述第二个体身份信息对应的个体的姿态变化，驱动所述第二个体身份信息对应的虚拟形象的姿态变化。

可选地，所述第一手部信息包括：第一左手部信息和第一右手部信息，所述对所述当前帧图像中的每一个第一个体部件信息分别与所述第一个体身份信息中对应的第二个体部件信息进行匹配，识别所述当前帧图像中的各第一个体部件信息所属的第二个体身份信息的步骤，包括：

计算所述当前帧图像中的每一个第一面部信息与所述上一帧图像中的每一个第二面部信息的第一匹配度；

计算所述当前帧图像中的每一个第一肢体信息与所述当前帧图像的每一个第一面部信息的第二匹配度；

计算所述当前帧图像中的每一个第一左手部信息与所述当前帧图像中的每一个第一肢体信息的第三匹配度；

计算所述当前帧图像中的每一个第一右手部信息与所述当前帧图像中的每一个第一肢体信息的第四匹配度；

根据所述第一匹配度、所述第二匹配度、所述第三匹配度、所述第四匹配度，以及所述上一帧图像中所述第一个体身份信息包含的第二个体部件信息，识别所述当前帧图像中的各第一个体部件信息所属的第二个体身份信息。

可选地，根据所述第一匹配度、所述第二匹配度、所述第三匹配度、所述第四匹配度，以及所述上一帧图像中所述第一个体身份信息包含的第二个体部件信息，识别所述当前帧图像中的各第一个体部件信息所属的第二个体身份信息，包括：