[发明专利]一种白板和音视频同步方法、装置、设备及存储介质

说明书

本申请公开了一种白板和音视频同步方法、装置、设备及存储介质，包括：确定当前多主播直播过程中进行白板绘制的多个目标主播终端；分别获取任一目标主播终端的音视频信息和白板绘制数据，得到第一音视频信息流，分别将第一音视频信息流中的所有信息一同发送至即时通信服务器；通过即时通信服务器将任一第一音视频信息流转发至所有其他主播终端；从即时通信服务器中获取所有第一音视频信息流和所有其他主播终端的第二音视频信息流，并将第一音视频信息流和第二音视频信息流进行混流得到混流后音视频信息流，再将混流后音视频信息流推流至直播服务器。本申请能够实现多主播情况下的音视频和白板的同步，提高多主播的直播效果及观众的观看体验。

技术领域

本申请涉及计算机技术领域，特别涉及一种白板和音视频同步方法、装置、设备及存储介质。

背景技术

当前，随着网络技术、通信技术及多媒体技术的蓬勃发展，网络直播得到了空前发展。因其具有互动性强、实时发布灵活便捷并且能够满足人们个性化需求等特征，使得网络直播在各大行业中发挥越来越重要的作用。

然而，网络直播行业在快速发展的同时也产生了许多问题。如在企业教育等多主播(如一个主讲，多个嘉宾)场景下，分属多地的各主播不仅有音视频流，而且还可以通过在白板上绘制的方式同时与其他主播进行互动。在多主播视频直播的过程中，每个主播端都有自己的白板界面，不仅需要将自己画的白板数据同步给其他主播，也需要将其他主播画的数据同步到自己的白板界面上，以此来实现多主播之间的互动，并将实时互动的白板界面显示在观看直播的观众端的白板界面上。因此，为了提高主播的直播效果及观众的观看体验，如何在多主播场景下对多主播的音视频流和白板同步成为当前面临的一个问题。

目前，通常通过采用以下两种方式对主播的白板和音视频进行同步：(1)使用桌面分享的方式，采集主播设备的整个桌面(包括白板和主播头像)作为一路音视频流进行分发。(2)使用软件分享的方式，将白板上的数据作为一路音视频流，而主播的摄像头作为另一路音视频流，播放端获取上述两路流并同时播放。然而，由于不同网络传输协议导致的延时使得上述两种方式都不适合多主播的情况。例如，当一场直播中有两个主播都需要绘制白板时，不管采用上述哪种方式，观众端都不能看到完整的白板信息，只能获取其中一端的视频。另外，由于上述两个主播流中的白板数据是相互独立的，不能进行混流，否则白板将发生错乱，因此如果观众同时拉取两个主播端视频进行多界面独立播放时，将无法对多个界面进行合并，导致观看体验极差。

综上所述，如何实现多主播的音视频和白板同步是目前还有待进一步解决的问题。

发明内容

有鉴于此，本申请的目的在于提供一种白板和音视频同步方法、装置、设备及存储介质，能够实现多主播音视频和白板的同步，提高多主播的直播效果及观众的观看体验。其具体方案如下：

第一方面，本申请公开了一种白板和音视频同步方法，包括：

确定当前多主播直播过程中进行白板绘制的多个目标主播终端；

分别获取任一所述目标主播终端的音视频信息和白板绘制数据，以得到第一音视频信息流，并分别将所述第一音视频信息流中的所有信息一同发送至预设的即时通信服务器；

通过所述即时通信服务器将任一所述第一音视频信息流转发至所述多主播直播过程中的所有其他主播终端，以便在所述其他主播终端的本地白板中显示所述音视频信息并还原所述白板绘制数据；

从所述即时通信服务器中获取所有所述第一音视频信息流和所有其他主播终端的第二音视频信息流，并将所述第一音视频信息流和所述第二音视频信息流进行混流得到混流后音视频信息流，再将所述混流后音视频信息流推流至直播服务器。

可选的，所述获取任一所述目标主播终端的音视频信息和白板绘制数据，以得到第一音视频信息流，包括：