[发明专利]一种多人连麦方法及相关设备

说明书

本发明公开了一种多人连麦方法及相关设备。该方法包括：在接收到连麦请求消息的情况下，拉取基于相同的连麦请求消息的N个待连麦主播的客户端发出的视频流和音频流；分别对不同客户端发出的视频流以及音频流进行解码；基于解码后的视频流进行混流以生成连麦视频流；根据解码后的音频流进行混流以生成连麦音频流；向每个待连麦主播发送与其对应的目标连麦视频流和目标连麦音频流。本申请实施例提供的方案，相比于现有技术中，针对每个主播分别建立一个混流服务的方法，可以大大降低拉流操作、混流次数和编解码次数，从而大大降低连麦过程中的资源消耗。

技术领域

本说明书涉及直播连麦领域，更具体地说，本发明涉及一种多人连麦方法及相关设备。

背景技术

在直播过程中，多个主播进行连麦是一种比较流行的直播方式，在连麦技术中，MCU(Multipoint Conferencing Unit，多点会议单元)是一种很常见的连麦混流方案，MCU混流中，服务端需要对参与连麦的主播进行混流，混流之后的画面提供给观众和连麦主播观看。混流过程包含解码，画面缩放叠加，编码等视频处理过程，视频处理需要耗费大量的CPU资源。

在现有的MCU混流中会针对每一个进行连麦的主播和观众端分别建立一个混流服务。混流过程包含解码，画面缩放叠加，编码等视频处理过程，视频处理需要耗费大量的CPU资源，巨大资源消耗限制了MCU技术的推广与应用。

发明内容

在发明内容部分中引入了一系列简化形式的概念，这将在具体实施方式部分中进一步详细说明。本发明的发明内容部分并不意味着要试图限定出所要求保护的技术方案的关键特征和必要技术特征，更不意味着试图确定所要求保护的技术方案的保护范围。

为了提供一种低资源消耗的MCU混流方案，第一方面，本发明提出一种多人连麦方法，用于客户端，上述方法包括：

在接收到连麦请求消息的情况下，拉取基于相同的连麦请求消息的N个待连麦主播的客户端发出的视频流和音频流；

分别对不同客户端发出的视频流以及音频流进行解码；

基于解码后的视频流进行混流和编码以生成连麦视频流；

根据解码后的音频流进行混流和编码以生成连麦音频流；

向每个待连麦主播发送与其对应的目标连麦视频流和目标连麦音频流。

可选的，上述基于解码后的视频流进行混流和编码以生成连麦视频流，包括：

将N个解码后的视频流进行混流和编码以生成共用连麦视频流。

可选的，上述根据解码后的音频流进行混流和编码以生成连麦音频流，包括：

将N-1个解码后的音频流进行混流和编码以生成N种专用连麦音频流，其中，每个上述待连麦主播对应一种专用连麦音频流，每一种专用连麦音频流中不包括对应待连麦主播的音频。

可选的，上述向每个待连麦主播发送与其对应的目标连麦视频流和目标连麦音频流，包括：

向每个上述待连麦主播发送上述共用连麦视频流和其对应的专用连麦音频流。

可选的，上述方法还包括：

将N个解码后的音频流进行混流和编码以生成一个观众音频流；

将上述共用视频流和上述观众音频流发送至观众关联的客户端。

可选的，上述方法还包括：

在接收到第一连麦请求的情况下，根据发出上述第一连麦请求的主播的直播间ID分配一个负载最低的混流和编码服务器并创建混流和编码服务，其中，上述发出第一连麦请求的主播为创建连麦服务的主播；