[发明专利]一种同步播放消息流与音视频流的方法、装置和系统

权利要求书

1.一种同步播放消息流与音视频流的方法，其特征在于，所述方法在拉流端执行，包括：

从音视频服务器处拉取音视频流并播放，从消息服务器处拉取消息流并缓存，其中，所述音视频流中每个音视频帧添加有音视频时间戳，所述消息流中每条消息添加有消息时间戳，且所述音视频时间戳和所述消息时间戳所取的时间来源为同步时间来源；

基于所述音视频帧的音视频时间戳和所述消息的消息时间戳，在所述缓存的消息流中确定与待播放的音视频帧同步播放的消息，并对其进行播放。

2.根据权利要求1所述的方法，其特征在于，所述音视频流中每个音视频帧添加有音视频时间戳，所述消息流中每条消息添加有消息时间戳，包括：

所述音视频流中每个音视频帧添加有由推流端在SEI字段写入的本地采集时间，所述消息流中每条消息添加有由推流端在时间戳字段写入的本地采集时间。

3.根据权利要求1所述的方法，其特征在于，所述音视频流中每个音视频帧添加有音视频时间戳，所述消息流中每条消息添加有消息时间戳，包括：

所述音视频流中每个音视频帧添加有由音视频服务器在SEI字段写入的音视频帧获取时间，所述消息流中每条消息添加有由消息服务器在时间戳字段写入的消息获取时间，且所述音视频服务器的服务器时间和所述消息服务器的服务器时间保持同步。

4.根据权利要求2或3所述的方法，其特征在于，所述基于所述音视频帧的音视频时间戳和所述消息的消息时间戳，在所述缓存的消息流中确定与待播放的音视频帧同步播放的消息，包括：

将消息流中消息时间戳小于等于所述待播放的音视频帧的音视频时间戳的消息，确定为与所述待播放的音视频帧同步播放的消息。

5.一种同步播放消息流与音视频流的方法，其特征在于，所述方法在推流端执行，包括：

对采集的音视频流中每个音视频帧添加音视频时间戳，对采集的消息流中每条消息添加消息时间戳，其中，所述音视频时间戳和所述消息时间戳取所述推流端的本地时间；

将所述音视频流推送至音视频服务器，将所述消息流推送至消息流服务器。

6.根据权利要求5所述的方法，其特征在于，所述对采集的音视频流中每个音视频帧添加音视频时间戳，对采集的消息流中每条消息添加消息时间戳，包括：

将音视频流中每个音视频帧的本地采集时间，写入音视频帧的SEI字段；

将消息流中每条消息的本地采集时间，写入每条消息的时间戳字段，以使拉流端基于所述音视频帧的音视频时间戳和所述消息的消息时间戳，在缓存的消息流中确定与待播放的音视频帧同步播放的消息，并对其进行播放。

7.根据权利要求6所述的方法，其特征在于，所述基于所述音视频帧的音视频时间戳和所述消息的消息时间戳，在缓存的消息流中确定与待播放的音视频帧同步播放的消息，包括：

将所述消息流中消息时间戳小于等于所述待播放的音视频帧的音视频时间戳的消息，确定为与所述待播放的音视频帧同步播放的消息。

8.一种同步播放消息流与音视频流的方法，其特征在于，所述方法包括：

音视频服务器接收音视频流，并对接收到的音视频流中每个音视频帧添加音视频时间戳；

消息服务器接收消息流，并对接收到的消息流中每条消息添加消息时间戳，其中，所述消息服务器的服务器时间和所述音视频服务器的服务器时间保持同步。

9.根据权利要求8所述的方法，其特征在于，所述对接收到的音视频流中每个音视频帧添加音视频时间戳，包括：

所述音视频服务器将音视频帧获取时间写入接收到的音视频流中每个音视频帧的SEI字段；

所述对接收到的消息流中每条消息添加消息时间戳，包括：

所述消息服务器将消息获取时间写入接收到的消息流中每条消息的时间戳字段，以使拉流端基于所述音视频帧的音视频时间戳和所述消息的消息时间戳，在缓存的消息流中确定与待播放的音视频帧同步播放的消息，并对其进行播放。