[发明专利]文档类直播交互数据和音视频数据同步方法和系统

权利要求书

1.一种文档类直播交互数据和音视频数据同步方法，其特征在于，包括：

步骤1，接收上传的文档并将文档转换成文档图像数据；

步骤2，通过应用程序开发框架采集用户的文档交互数据；

步骤3，利用渲染系统将文档交互数据渲染进文档图像数据；

在步骤2中，视频引擎根据设置的帧率参数，定时从渲染系统中获取被渲染好的图像，将文档转化一页一页的图像数据后，将图像数据用渲染接口进入渲染系统中，在每一页图像数据上，记录用户在此页图像上的交互操作行为产生的文档交互数据；

步骤4，根据渲染结果分别进行视频数据和音频数据的编码；

步骤4包括：获取当前渲染系统的视频图像图层，通过H264编码器进行视频数据的编码；获取当前音频数据，通过ACC编码器进行音频数据的编码；

步骤5，将音视频编码数据封装成RTMP协议再通过CDN网络发送到播放端播放；

步骤5中包括：建立与服务器三次握手连接，再建立与服务器的流通道；将获取的H264视频编码数据封装成RTMP协议的视频包发送到CDN网络；将获取的ACC音频编码数据封装成RTMP协议的音频包发送到CDN网络；再通过CDN网络发送到播放端播放。

2.如权利要求1所述文档类直播交互数据和音视频数据同步方法，其特征在于，文档交互数据包括绘制数据，则步骤2包括：通过应用程序开发框架响应用户绘制动作并记录对应的鼠标动作，调用渲染接口完成绘制并获得绘制数据。

3.如权利要求1所述文档类直播交互数据和音视频数据同步方法，其特征在于，文档交互数据包括用户操作数据，则步骤2包括：通过应用程序开发框架响应包括文档翻页、删除绘制数据和清空绘制数据在内任意一种用户操作，获得用户操作数据。

4.一种文档类直播交互数据和音视频数据同步系统，其特征在于，包括：

接收转换模块，用于接收上传的文档并将文档转换成文档图像数据；

交互采集模块，用于通过应用程序开发框架采集用户的文档交互数据；

数据渲染模块，用于利用渲染系统将文档交互数据渲染进文档图像数据；

数据编码模块，用于根据渲染结果分别进行视频数据和音频数据的编码；

数据编码模块具体用于获取当前渲染系统的视频图像图层，通过H264编码器进行视频数据的编码；获取当前音频数据，通过ACC编码器进行音频数据的编码；

封装发送模块，用于将音视频编码数据封装成RTMP协议再通过CDN网络发送到播放端播放；

封装发送模块具体用于建立与服务器三次握手连接，再建立与服务器的流通道；将获取的H264视频编码数据封装成RTMP协议的视频包发送到CDN网络；将获取的ACC音频编码数据封装成RTMP协议的音频包发送到CDN网络；再通过CDN网络发送到播放端播放。

5.如权利要求4所述文档类直播交互数据和音视频数据同步系统，其特征在于，文档交互数据包括绘制数据，则交互采集模块具体用于通过应用程序开发框架响应用户绘制动作并记录对应的鼠标动作，调用渲染接口完成绘制并获得绘制数据。

6.如权利要求4所述文档类直播交互数据和音视频数据同步系统，其特征在于，文档交互数据包括用户操作数据，则交互采集模块具体用于通过应用程序开发框架响应包括文档翻页、删除绘制数据和清空绘制数据在内任意一种用户操作，获得用户操作数据。