[发明专利]增强演奏场景合成控制方法及装置

说明书

本发明提供了一种增强演奏场景合成控制方法及装置。方法包括，首先添加预定的虚拟乐器的对应图像到从摄像单元获取且将被推送到直播间的音视频流中；从该音视频流中的图像流中识别出作用于该虚拟乐器的演奏控制部位的用户手势，伴随该用户手势在该音视频流的图像流中改变所述演奏控制部位的控制状态，且调用与该虚拟乐器相对应的音频配置信息，生成插入到该音视频流中的与该演奏控制部位的控制状态相适应的音频流；将包含有所述图像流和所述音频流的合成音视频流推送到所述的直播间。本发明结合虚拟乐器生成技术和手势分析技术，实现了在网络直播间中进行虚拟乐器演奏直播。

技术领域

本发明涉及计算机技术领域，特别涉及一种增强演奏场景合成控制方法及装置。

背景技术

增强现实(Augmented Reality，简称AR)技术，是一种实时地计算摄影机影像的位置及角度并加上相应图像的技术，这种技术的目标是在屏幕上把虚拟世界套在现实世界并进行互动。AR技术不仅展现了真实世界的信息，而且能将虚拟的信息同时显示出来，两种信息相互补充、叠加。在视觉化的增强现实中，用户利用头盔显示器，把真实世界与电脑图形多重合成在一起，便可以看到真实的世界围绕着它。该技术包含了虚拟现实(VR)技术、多媒体、三维建模、实时视频显示及控制、多传感器融合、实时跟踪及注册、场景融合等新技术。随着电子产品运算能力的提升，增强现实的用途越来越广。

在音乐演奏的应用中，增强现实技术就能够得到充分的应用。随着VR(虚拟现实)技术的发展，特定乐器3D模型场景的生成已经成为现实，将其与增强现实技术中其他技术内容相结合完全可以实现对虚拟乐器的模拟和交互，这能够为广大音乐演奏者大大扩展乐器选择范围，例如申请公布号为CN103456286的发明专利申请就形成了虚拟鼓并进行演奏，申请公布号为CN105786162的发明专利申请甚至提供了虚拟演奏指挥方法。然而，增强现实技术提供的虚拟演奏中乐器由VR技术提供，声音则由相关数据库提供并伴随虚拟乐器的演奏而产生，只能实现演奏者与虚拟乐器的交互，可见的演奏场景仍然是虚拟的，而且仅演奏者自己可见，而在网络直播场景中需要除演奏者之外的观众都能够看到真实或者是接近真实的乐器、演奏者影像以及演奏过程，在近年来蓬勃发展的网络直播领域未见使用虚拟乐器进行网络直播的技术，也即增强现实技术在乐器演奏上的应用仍然在网络直播中无法实现。

发明内容

基于此，为了实现增强现实技术在乐器演奏网络直播中的应用，提供一种增强演奏场景合成控制方法及装置。

一种增强演奏场景合成控制方法，包括下列步骤：

添加预定的虚拟乐器的对应图像到从摄像单元获取且将被推送到直播间的音视频流中；

从该音视频流中的图像流中识别出作用于该虚拟乐器的演奏控制部位的用户手势，伴随该用户手势在该音视频流的图像流中改变所述演奏控制部位的控制状态，且调用与该虚拟乐器相对应的音频配置信息，生成插入到该音视频流中的与该演奏控制部位的控制状态相适应的音频流；

将包含有所述图像流和所述音频流的合成音视频流推送到所述的直播间。

在其中一个实施例中，所述伴随该用户手势在该音视频流的图像流中改变所述演奏控制部位的控制状态的步骤具体包括：

检测到所述用户手势的帧信息满足据以判定所述演奏控制部位的控制变化的参考信息，以预定时间间隔连续记录所述用户手势的帧信息并得到累积帧数；

当所述累积帧数达到预定帧数，确定所述用户手势对应的所述演奏控制部位的控制变化；

响应于所述控制变化，改变所述演奏控制部位的控制状态。

在其中一个实施例中，添加预定的虚拟乐器的对应图像到从摄像单元获取且将被推送到直播间的音视频流中的步骤包括：

确定被用户选择的预定的虚拟乐器的乐器类型，获取与所述乐器类型相对应的配置文件；