[发明专利]视频混流方法、视频混流装置及存储介质

说明书

本发明提供一种视频混流方法，其包括：从第一视频终端获取多个第一视频画面帧，从第二视频终端获取多个第二视频画面帧；根据预设的对齐时间长度，设定多个画面帧对齐时间戳区间；根据第一画面帧时间戳，确定第一视频画面帧的画面帧对齐时间戳区间；根据第二画面帧时间戳，确定第二视频画面帧的画面帧对齐时间戳区间；对每个画面帧对齐时间戳区间内的第一视频画面帧和第二视频画面帧进行画面帧对齐操作；对对齐操作后的第一视频画面帧以及第二视频画面帧进行视频混流操作。本发明还提供一种视频混流装置，本发明的视频混流方法及视频混流装置避免了第一视频画面帧和第二视频画面帧之间出现画面不同步。

技术领域

本发明涉及视频处理领域，特别是涉及一种视频混流方法、视频混流装置及存储介质。

背景技术

随着科技的发展，视频直播应用得到越来越多的用户青睐，其中互动直播为视频直播中的一种重要应用。互动直播中，主播终端和连麦观众终端会进行互联操作，如第三方观众想要看到连麦的场景，则需要对主播终端的视频画面以及连麦观众终端的视频画面进行混流操作。

现有的视频混流方式一般为服务器端对主播终端的视频画面和连麦观众终端的视频画面进行混流操作。这种混流操作不额外增加第三方观众对应终端的宽带资源和计算资源，有利于第三方观众对混流后的视频画面进行观看。

但是主播视频画面和连麦观众视频画面是由两个独立的客户端能生成的，主播视频画面的播放帧率和连麦观众视频画面的播放帧率可能会不同，但是服务器端进行视频画面混流操作时，一般是简单的将主播视频画面的画面帧和连麦观众视频画面的画面帧进行一一对齐，如主播视频画面的播放帧率为每秒12帧，连麦观众视频画面的播放帧率为每秒10帧等；这样随着时间推移，混流操作后的视频画面中会出现主播视频画面和连麦观众视频画面的画面错位越来越大。

此外如主播终端和连麦观众终端的网络状态差异较大时，如主播终端正常上传视频帧，连麦观众终端出现丢帧现象；这样混流操作后的视频画面中同样会出现主播视频画面和连麦观众视频画面的画面不同步的问题，影响第三方观众对混流后的视频画面的观看。

发明内容

本发明实施例提供一种可对混流视频画面中的主播视频画面和连麦观众视频画面进行自动对齐操作的视频混流方法以及视频混流装置；以解决现有的视频混流方法以及视频混流装置中主播视频画面和连麦观众视频画面的画面不同步，影响第三方观众对混流后的视频画面的观看的技术问题。

本发明实施例提供一种视频混流方法，其包括：

从所述第一视频终端获取多个第一视频画面帧，从所述第二视频终端获取多个第二视频画面帧；其中每个所述第一视频画面帧具有对应的第一画面帧时间戳，每个所述第二视频画面帧具有对应的第二画面帧时间戳；

根据预设的对齐时间长度，设定多个画面帧对齐时间戳区间；

根据所述第一画面帧时间戳，确定所述第一视频画面帧的画面帧对齐时间戳区间；根据所述第二画面帧时间戳，确定所述第二视频画面帧的画面帧对齐时间戳区间；

对每个画面帧对齐时间戳区间内的所述第一视频画面帧和所述第二视频画面帧进行画面帧对齐操作；以及

对所述对齐操作后的第一视频画面帧以及第二视频画面帧进行视频混流操作。

本发明实施例还提供一种视频混流装置，其包括：

画面帧获取模块，用于从所述第一视频终端获取多个第一视频画面帧，从所述第二视频终端获取多个第二视频画面帧；其中每个所述第一视频画面帧具有对应的第一画面帧时间戳，每个所述第二视频画面帧具有对应的第二画面帧时间戳；

对齐时间戳区间设定模块，用于根据预设的对齐时间长度，设定多个画面帧对齐时间戳区间；