[发明专利]数据流处理方法、装置及存储介质、终端设备

说明书

本发明提供一种数据流处理方法、装置及存储介质、终端设备，所述方法包括：确认当前用户接入连麦会话窗口；获取所述连麦会话窗口的连麦用户的人数；若所述连麦用户的人数达到预设人数，获取所述连麦用户的连续的帧图像，对所述帧图像进行帧差运算，得到帧差结果值；根据所述帧差结果值控制连麦会话的数据流。上述多人连麦的数据流处理方法可根据连麦用户的人数，控制连麦用户的数据流，从而能够解决多人连麦过程流量消耗与音视频卡顿等数据流的问题。

技术领域

本发明涉及连麦技术领域，具体而言，本发明涉及一种数据流处理方法、装置及存储介质、终端设备。

背景技术

随着互联网技术逐渐成熟以及终端硬件设备的不断完善，电脑以及手机等小型终端设备的成本也随之下降，因此降低了直播的门槛。现阶段随着智能手机的普及，智能手机的高清摄像头以及高速手机联网技术，如4G，wifi等网络技术，使得移动端直播讯速发展。

直播中比较受用户欢迎的互动方式就是连麦，连麦的原理如图1所示。如今一对一的连麦技术已经比较成熟，但是多人连麦的技术还有所欠缺。由于受到手机性能以及下行网速的影响，随着连麦人数的增加，多人连麦过程中容易造成连麦画面的卡顿与大量流量的消耗。造成连麦画面的卡顿的因素主要有：网络，视频，音频，适配，渲染等。音频，视频，适配制约与需求，渲染等与终端设备的性能相关，而连麦画面的卡顿更多的是因为连麦网络。

现有的解决多人连麦卡顿的方案主要：第一，降低推流和拉流的码率。第二，根据不同的人数采用降低的动态码率。第三，通过服务器合流后再转发。其中，降低推流和拉流的码率与根据不同的人数采用降低的动态码率本质上都是一样的，通过降低码率来达到降低流量消耗和网络卡顿，但对于多人连麦的情况下，网络下行的压力依然很大，而且如果将码率设置很低，对连麦画面质量影响很大，导致连麦画面模糊。通过服务器合流后再转发能够做到与一对一连麦效果一样，可以既保证画质又可以保证下行码率网络低延时，但是对于需要对单独流做窗口显示与操作的直播场景不适用。

发明内容

本发明提出一种多人连麦的数据流处理方法、装置及存储介质、终端设备，以解决多人连麦过程流量消耗与音视频卡顿等引起的数据流的问题。

本发明提供以下方案：

一种多人连麦的数据流处理方法，所述方法包括：确认当前用户接入连麦会话窗口；获取所述连麦会话窗口的连麦用户的人数；若所述连麦用户的人数达到预设人数，获取所述连麦用户的连续的帧图像，对所述帧图像进行帧差运算，得到帧差结果值；根据所述帧差结果值控制连麦会话的数据流。

在其中一个实施例中，所述获取所述连麦会话窗口的连麦用户的人数之后，还包括：若所述连麦用户的人数未达到所述预设人数，通过动态码率的方式调整所述连麦会话的数据流。

在其中一个实施例中，所述获取所述连麦用户的连续的帧图像，包括：获取所述当前用户的连续的帧图像；所述数据流包括视频流和音频流；所述根据所述帧差结果值控制连麦会话的数据流，包括：当所述帧差结果值大于第一阈值时，推送所述当前用户的视频流和音频流；当所述帧差结果值小于或等于第一阈值时，推送所述当前用户的音频流。

在其中一个实施例中，所述获取所述连麦用户的连续的帧图像，包括：获取所述连麦会话窗口中所述当前用户以外的任一连麦用户的连续的帧图像；所述数据流包括视频流和音频流；所述根据所述帧差结果值控制连麦会话的数据流，包括：获取所述当前用户以外的任一连麦用户推流时的标志位；所述推流时的标志位为连麦用户推送所述数据流时，标志连麦用户在所述连麦会话窗口的显示位置的标号；当所述帧差结果值大于第二阈值时，根据所述标志位拉取所述当前用户以外的任一连麦用户的视频流和音频流；当所述帧差结果值小于或等于第二阈值时，根据所述标志位拉取所述当前用户以外的任一连麦用户的音频流。