[发明专利]一种同步播放消息流与音视频流的方法、装置和系统

说明书

本发明公开了一种同步播放消息流与音视频流的方法、装置和系统，属于流媒体直播技术领域。所述方法包括：拉流端从音视频服务器处拉取音视频流并播放，从消息服务器处拉取消息流并缓存，其中，所述音视频流中每个音视频帧添加有音视频时间戳，所述消息流中每条消息添加有消息时间戳，且所述音视频时间戳和所述消息时间戳所取的时间来源为同步时间来源；所述拉流端基于所述音视频帧的音视频时间戳和所述消息的消息时间戳，在所述缓存的消息流中确定与待播放的音视频帧同步播放的消息，并对其进行播放。采用本发明，可以实现音视频流和消息流同步播放，提高在线直播教育的互动和体验效果。

技术领域

本发明涉及流媒体直播技术领域，特别涉及一种同步播放消息流与音视频流的方法、装置和系统。

背景技术

随着电子设备和互联网的不断发展，教育行业已经从传统的课堂教育演化到基于互联网的在线直播教育。同时，在线直播教育也不再是简单的教师直播上课的方式，而是在此之上不断添加例如白板、文字聊天和点名等多样化的互动方式，通过多样化的互动方式，教师可以更加形象地将知识进行传递。

在在线直播教育过程中，一方面，教师所在的教师端可以通过个人计算机、摄像头、耳麦等直播设备采集直播过程中产生的音视频流，然后可以将音视频流推送到相应的音视频服务器。经过音视频服务器的处理后，学生所在的学生端可以通过直播设备从音视频服务器处拉取音视频流进行观看。另一方面，对于直播过程中产生的白板、文字聊天和点名等消息流，可以经由推流端(教师端或学生端)的直播设备推送到相应的消息流服务器，然后由拉流端(学生端或教师端)的直播设备从消息流服务器处拉取消息流，再将其呈现给观看者(学生或教师)。

在实现本发明的过程中，发明人发现现有技术至少存在以下问题：

即使采用目前延迟时间最短的RTMP(Real Time Messaging Protocol，实时消息传输协议)，从音视频流的采集到最终可拉流观看也需要2-3秒不等的时间。而白板、聊天和点名等消息流只是文本流的传输，不需要进行复杂的流处理，基本上是实时传输，这就造成消息流先于音视频流到达观看端。由于观看端在接收到音视频流或文本流时将立即进行直播，导致白板、文字聊天等消息与对应的音视频不能同步播放，降低了在线直播教育的互动和体验效果。

发明内容

为了解决现有技术的问题，本发明实施例提供了一种同步播放消息流与音视频流的方法、装置和系统。所述技术方案如下：

第一方面，提供了一种同步播放消息流与音视频流的方法，所述方法在拉流端执行，包括：

从音视频服务器处拉取音视频流并播放，从消息服务器处拉取消息流并缓存，其中，所述音视频流中每个音视频帧添加有音视频时间戳，所述消息流中每条消息添加有消息时间戳，且所述音视频时间戳和所述消息时间戳所取的时间来源为同步时间来源；

基于所述音视频帧的音视频时间戳和所述消息的消息时间戳，在所述缓存的消息流中确定与待播放的音视频帧同步播放的消息，并对其进行播放。

第二方面，提供了一种同步播放消息流与音视频流的方法，所述方法在推流端执行，包括：

对采集的音视频流中每个音视频帧添加音视频时间戳，对采集的消息流中每条消息添加消息时间戳，其中，所述音视频时间戳和所述消息时间戳取所述推流端的本地时间；

将所述音视频流推送至音视频服务器，将所述消息流推送至消息流服务器，以使拉流端从所述音视频服务器处拉取所述音视频流并播放，从所述消息流服务器处拉取所述消息流并缓存，以及基于所述音视频帧的音视频时间戳和所述消息的消息时间戳，在所述缓存的消息流中确定与待播放的音视频帧同步播放的消息，并对其进行播放。

第三方面，提供了一种同步播放消息流与音视频流的方法，所述方法包括：

音视频服务器接收音视频流，并对接收到的音视频流中每个音视频帧添加音视频时间戳；