[发明专利]基于文档类直播交互数据和音视频数据同步方法和系统

权利要求书

1.一种基于文档类直播交互数据和音视频数据同步方法，其特征在于，包括：

步骤1，接收上传的文档并将文档转换成图片；

步骤2，加载文档对应的图片到应用程序开发框架的窗口显示；

步骤3，通过应用程序开发框架记录直播开始的鼠标点击事件，记录当前时间作为起始时间戳；

步骤4，在直播开始同时将音视频数据发送至CDN网络；

步骤5，通过应用程序开发框架采集用户的文档交互数据，将文档交互数据发送至websockets服务器；其中，所述文档交互数据包括对齐时间戳，所述对齐时间戳是以起始时间戳为基准的相对时间戳；

步骤6，播放端从CDN网络接收到音视频数据，从websockets服务器接收文档交互数据；播放端根据当前播放音视频的时长和文档交互数据中的对齐时间戳进行对比，确定播放时长大于对齐时间戳时，将文档交互数据绘制到文档播放窗口。

2.如权利要求1所述基于文档类直播交互数据和音视频数据同步方法，其特征在于，步骤3包括：通过应用程序开发框架响应鼠标事件机制记录用户对表示直播开始的界面元素进行点击的鼠标点击事件，记录当前时间作为起始时间戳。

3.如权利要求1所述基于文档类直播交互数据和音视频数据同步方法，其特征在于，文档交互数据包括画笔绘制数据，则步骤5包括：通过应用程序开发框架响应鼠标事件机制和绘制机制记录鼠标动作，调用应用程序开发框架的对应函数完成画笔绘制。

4.如权利要求1所述基于文档类直播交互数据和音视频数据同步方法，其特征在于，文档交互数据包括用户操作数据，则步骤5包括：通过应用程序开发框架响应鼠标事件机制和绘制机制记录包括文档翻页、删除绘制数据和清空绘制数据在内任意一种用户操作。

5.如权利要求1所述基于文档类直播交互数据和音视频数据同步方法，其特征在于，步骤5中包括：

步骤51，通过应用程序开发框架采集用户的文档交互数据；

步骤52，通过http请求将文档交互数据发送到websockets服务器，若发送超过预设时间则重发文档交互数据。

6.一种基于文档类直播交互数据和音视频数据同步系统，其特征在于，包括：

采集端和播放端，其中采集端包括接收转换模块、加载模块、记录模块、音视频发送模块和交互发送模块；

接收转换模块，用于接收上传的文档并将文档转换成图片；

加载模块，用于加载文档对应的图片到应用程序开发框架的窗口显示；

记录模块，用于通过应用程序开发框架记录直播开始的鼠标点击事件，记录当前时间作为起始时间戳；

音视频发送模块，用于在直播开始同时将音视频数据发送至CDN网络；

交互发送模块，用于通过应用程序开发框架采集用户的文档交互数据，将文档交互数据发送至websockets服务器；其中，所述文档交互数据包括对齐时间戳，所述对齐时间戳是以起始时间戳为基准的相对时间戳；

播放端，用于从CDN网络接收到音视频数据，从websockets服务器接收文档交互数据；播放端根据当前播放音视频的时长和文档交互数据中的对齐时间戳进行对比，确定播放时长大于对齐时间戳时，将文档交互数据绘制到文档播放窗口。

7.如权利要求6所述基于文档类直播交互数据和音视频数据同步系统，其特征在于，记录模块具体用于通过应用程序开发框架响应鼠标事件机制记录用户对表示直播开始的界面元素进行点击的鼠标点击事件，记录当前时间作为起始时间戳。

8.如权利要求6所述基于文档类直播交互数据和音视频数据同步系统，其特征在于，文档交互数据包括画笔绘制数据，则交互发送模块具体用于通过应用程序开发框架响应鼠标事件机制和绘制机制记录鼠标动作，调用应用程序开发框架的对应函数完成画笔绘制。