[发明专利]文档类直播交互数据和音视频数据同步方法和系统

说明书

本发明涉及直播领域，特别涉及一种文档类直播交互数据和音视频数据同步方法和系统，包括：接收上传的文档并将文档转换成文档图像数据；通过应用程序开发框架采集用户的文档交互数据；利用渲染系统将文档交互数据渲染进文档图像数据；根据渲染结果分别进行视频数据和音频数据的编码；将音视频编码数据封装成RTMP协议再通过CDN网络发送到播放端播放。本发明将文档交互数据转换为图像数据后进行数据编码，再把音视频数据封装RTMP协议的数据包，通过CDN网络发送到播放端播放。本发明的文档交互数据图像化处理，在网络抖动发生数据丢包时也会和其他音视频数据一同丢包，从而使交互操作数据和其他音视频完全同步。

技术领域

本发明涉及直播领域，特别涉及一种文档类直播交互数据和音视频数据同步方法和系统。

背景技术

现在的直播中，有一种类型是基于PPT、PDF等文档类型的直播。这种直播需要采集音视频流，还需要支持对文档操作交互的行为，例如在文档上绘制直线、自由线、矩形、椭圆、文字；以及文档翻页、绘制数据删除、清空等交互行为，这些文档操作的交互行为统一按数据流进行传输。

当前广泛使用的直播是基于RTMP+CDN架构的直播，这种直播的延迟一般是3-5秒，加上CDN网络的抖动，播放端累计延迟可达7-8秒。但是传输的文档操作的交互行为数据流由于采用的是websockets协议，数据量低并且播放端接收的延迟大概在1秒以内。

这样播放端就存在一个如何在直播过程中实现操作交互的数据流和音视频流播放同步的问题，但是如果音视频的网络出现严重的抖动，音视频出现了比较严重的丢包，传统的数据流的方案是无法做到数据流丢包和追帧播放的。

发明内容

本发明的实施方式旨在至少解决现有技术中存在的技术问题之一。为此，本发明的实施方式需要提供一种文档类直播交互数据和音视频数据同步方法和系统。

本发明实施方式的一种文档类直播交互数据和音视频数据同步方法，其特征在于，包括：

步骤1，接收上传的文档并将文档转换成文档图像数据；

步骤2，通过应用程序开发框架采集用户的文档交互数据；

步骤3，利用渲染系统将文档交互数据渲染进文档图像数据；

步骤4，根据渲染结果分别进行视频数据和音频数据的编码；

步骤5，将音视频编码数据封装成RTMP协议再通过CDN网络发送到播放端播放。

一种实施方式中，文档交互数据包括绘制数据，则步骤2包括：通过应用程序开发框架响应用户绘制动作并记录对应的鼠标动作，调用渲染接口完成绘制并获得绘制数据。

一种实施方式中，文档交互数据包括用户操作数据，则步骤2包括：通过应用程序开发框架响应包括文档翻页、删除绘制数据和清空绘制数据在内任意一种用户操作，获得用户操作数据。

一种实施方式中，步骤4包括：获取当前渲染系统的视频图像图层，通过H264编码器进行视频数据的编码；获取当前音频数据，通过ACC编码器进行音频数据的编码。

一种实施方式中，步骤5中包括：建立与服务器三次握手连接，再建立与服务器的流通道；将获取的H264视频编码数据封装成RTMP协议的视频包发送到CDN网络；将获取的ACC音频编码数据封装成RTMP协议的音频包发送到CDN网络；再通过CDN网络发送到播放端播放。

本发明实施方式还提出一种文档类直播交互数据和音视频数据同步系统，其特征在于，包括：

接收转换模块，用于接收上传的文档并将文档转换成文档图像数据；

交互采集模块，用于通过应用程序开发框架采集用户的文档交互数据；

数据渲染模块，用于利用渲染系统将文档交互数据渲染进文档图像数据；