[发明专利]增强演奏场景合成控制方法及装置

权利要求书

1.一种增强演奏场景合成控制方法，其特征在于，包括下列步骤：

添加预定的虚拟乐器的对应图像到从摄像单元获取且将被推送到直播间的音视频流中；

从该音视频流中的图像流中识别出作用于该虚拟乐器的演奏控制部位的用户手势，伴随该用户手势在该音视频流的图像流中改变所述演奏控制部位的控制状态，所述演奏控制部位的控制状态有变化，则相应调取与该虚拟乐器相对应的音频配置信息，生成插入到该音视频流中的与该演奏控制部位的控制状态相适应的音频流；

将包含有所述图像流和所述音频流的合成音视频流推送到所述的直播间；

其中，所述伴随该用户手势在该音视频流的图像流中改变所述演奏控制部位的控制状态的步骤具体包括：

检测到所述用户手势的帧信息满足据以判定所述演奏控制部位的控制变化的参考信息，以预定时间间隔连续记录所述用户手势的帧信息并得到累积帧数；

当所述累积帧数达到预定帧数，确定所述用户手势对应的所述演奏控制部位的控制变化；

响应于所述控制变化，改变所述演奏控制部位的控制状态。

2.根据权利要求1所述的增强演奏场景合成控制方法，其特征在于，添加预定的虚拟乐器的对应图像到从摄像单元获取且将被推送到直播间的音视频流中的步骤包括：

确定被用户选择的预定的虚拟乐器的乐器类型，获取与所述乐器类型相对应的配置文件；

调取所述配置文件中所指定的虚拟乐器的对应图像；

通过特定图像合成算法将所述对应图像合并到所述直播间的音视频流中。

3.根据权利要求1所述的增强演奏场景合成控制方法，其特征在于，所述直播间的音视频流中包括演奏者三维图像和预设直播间场景图像，所述演奏者三维图像获取自计算机形成的三维模型，该三维模型包括由实景影像经计算机计算形成的使用者三维虚拟形象，或

由计算机三维动画形成的动画形象。

4.根据权利要求1所述的增强演奏场景合成控制方法，其特征在于，将包含有所述图像流和所述音频流的合成音视频流推送到所述的直播间的步骤还包括，将所述合成音视频流通过预定压缩编码算法进行压缩编码，再推送到所述直播间。

5.根据权利要求1所述的增强演奏场景合成控制方法，其特征在于，从该音视频流中的图像流中识别出作用于该虚拟乐器的演奏控制部位的用户手势的步骤具体为：

获取所述图像流中的演奏者三维图像，分割出其中人手部分的三维图像数据信息；

利用预定算法检测出所述人手部分的三维图像数据信息中的手指信息数据，并形成手指运动轨迹的信息数据；

将所述手指运动轨迹的信息数据与所述演奏控制部位的信息数据进行数学合并，据以实现识别出作用于该虚拟乐器的演奏控制部位的用户手势。

6.根据权利要求1所述的增强演奏场景合成控制方法，其特征在于，所述将包含有所述图像流和所述音频流的合成音视频流推送到所述的直播间的步骤之前还包括，将所述合成音视频流中的视频流投射到支持虚拟现实技术的视频显示单元，据以对所述合成音视频流中的视频流进行三维视角显示，同时将合成音视频流中的音频流推送到音频播放单元以进行音频播放。