[发明专利]基于文档类直播交互数据和音视频数据同步方法和系统

说明书

本发明涉及直播领域，涉及一种基于文档类直播交互数据流和音视频流同步方法，包括：接收文档并将文档转换成图片；加载图片到应用程序开发框架的窗口显示；通过应用程序开发框架记录直播开始的鼠标点击事件，记录当前时间作为起始时间戳；将音视频数据发送至CDN网络；通过应用程序开发框架采集文档交互数据并发送至websockets服务器；播放端接收音视频数据和文档交互数据，确定播放时长大于对齐时间戳时，将文档交互数据绘制到文档播放窗口。本发明还提出基于文档类直播交互数据流和音视频流同步系统。本发明通过加入对齐时间戳，然后在播放端依据当前播放音视频的时长和对齐时间戳进行对比来达到交互数据和音视频数据同步的效果。

技术领域

本发明涉及直播领域，特别涉及一种基于文档类直播交互数据流和音视频流同步方法和系统。

背景技术

现在的直播中，有一种类型是基于PPT、PDF等文档类型的直播。这种直播需要采集音视频流，还需要支持对文档操作交互的行为，例如在文档上绘制直线、自由线、矩形、椭圆、文字；以及文档翻页、绘制数据删除、清空等交互行为，这些文档操作的交互行为统一按数据流进行传输。

当前广泛使用的直播是基于RTMP+CDN架构的直播，这种直播的延迟一般是3-5秒，加上CDN网络的抖动，播放端累计延迟可达7-8秒。但是传输的文档操作的交互行为数据流由于采用的是websockets协议，数据量低并且播放端接收的延迟大概在1秒以内。

这样播放端就存在一个如何在直播过程中实现基于文档类直播交互数据和音视频数据同步的问题。

发明内容

本发明的实施方式旨在至少解决现有技术中存在的技术问题之一。为此，本发明的实施方式需要提供一种基于文档类直播交互数据和音视频数据同步方法和系统。

本发明实施方式的一种基于文档类直播交互数据和音视频数据同步方法，其特征在于，包括：

步骤1，接收上传的文档并将文档转换成图片；

步骤2，加载文档对应的图片到应用程序开发框架的窗口显示；

步骤3，通过应用程序开发框架记录直播开始的鼠标点击事件，记录当前时间作为起始时间戳；

步骤4，在直播开始同时将音视频数据发送至CDN网络；

步骤5，通过应用程序开发框架采集用户的文档交互数据，将文档交互数据发送至websockets服务器；其中，所述文档交互数据包括对齐时间戳，所述对齐时间戳是以起始时间戳为基准的相对时间戳；

步骤6，播放端从CDN网络接收到音视频数据，从websockets服务器接收文档交互数据；播放端根据当前播放音视频的时长和文档交互数据中的对齐时间戳进行对比，确定播放时长大于对齐时间戳时，将文档交互数据绘制到文档播放窗口。

一种实施方式中，步骤3包括：通过应用程序开发框架响应鼠标事件机制记录用户对表示直播开始的界面元素进行点击的鼠标点击事件，记录当前时间作为起始时间戳。

一种实施方式中，文档交互数据包括画笔绘制数据，则步骤5包括：通过应用程序开发框架响应鼠标事件机制和绘制机制记录鼠标动作，调用应用程序开发框架的对应函数完成画笔绘制。

一种实施方式中，文档交互数据包括用户操作数据，则步骤5包括：通过应用程序开发框架响应鼠标事件机制和绘制机制记录包括文档翻页、删除绘制数据和清空绘制数据在内任意一种用户操作。

一种实施方式中，步骤5中包括：

步骤51，通过应用程序开发框架采集用户的文档交互数据；

步骤52，通过http请求将文档交互数据发送到websockets服务器，若发送超过预设时间则重发文档交互数据。