[发明专利]辅流处理的方法和装置

说明书

技术领域

本发明涉及通信技术领域，尤其涉及一种辅流处理的方法和装置。

背景技术

当前的远程视频会议、视频电话、远程网络教学、多媒体会议和课堂等都是依赖于辅流传输的。辅流即是指与视频会议终端连接的计算机信号，比如一些会议需要共享一些计算机信号，包括电子会议文件或课件等等。参与上述场景的任何一方都可以对辅流进行录制和回放，以便日后需要时可以方便的回顾会议或教学的内容等。

目前通常的做法有以下两种：1.实时录制：直接在现场通过摄像机同步录制生成视音频文件，然后在后期通过将对应文件合成并编码成特定格式的多媒体文件，如H.264,MPEG等；之后可由通用解码器打开播放。2.将课件、文档操作者在计算机上操作课件的动作或者将抓屏软件直接抓取的计算机显示器上显示的视频图像文件，与话筒录制的音频文件等由软件实时同步处理，添加时间戳后，编码生成特定格式的流媒体文件；之后可以由开发者开发的流媒体播放器进行解码播放。这种对辅流的录制和回放的方法虽然实现起来简便易行，但由于存储的大多是经编码后的多媒体文件，因此编码后的辅流录制文件不易进行编辑和修改并且存储文件会占用大量的存储资源。

对此，中国发明专利“用于以一种语言独立语法记录宏的方法和系统”，专利号为CN200410005278.4，公开号为CN1519710，公开了一种基于目标指令语言(OIL)的以计算机语言独立语法进行宏录制的方法，记录的对象主要是计算机的后台动作，如鼠标轨迹，鼠标和键盘动作等，然后在宏录制好之后，即可通过运行宏实现将该宏记录的所有操作一键自动完成。该方法中描述的宏录制更侧重记录用户操作应用程序的动作，而没有与操作动作相关联的时间概念。因此将此方法应用于辅流录制时，在后续回放中，无法实现音频，录制的宏及课件的同步合成，即无法实现对辅流录制时，文档操作者对文档操作的准确还原。

发明内容

本发明实施例提供了一种辅流处理的方法和装置，能够方便的实现辅流录制，并通过运行辅流录制得到的操作指令宏和播放视音频文件，实现辅流录制时文档操作者对操作文档所进行的操作的准确还原，并且支持用户对操作指令宏进行编辑和修改等后期处理。

第一方面，本发明实施例提供了一种辅流处理的方法，所述方法包括：

用户设备接收辅流录制指令；

根据所述辅流录制指令确定辅流录制的时间轴的起始时间；

接收并识别用户通过输入设备输入的对操作文档的操作动作；

获取所述操作动作相对应的操作文档的界面状态信息；

对所述操作动作和对应的操作文档的界面状态信息进行关联并生成操作指令，并根据接收到所述操作动作的时间与所述起始时间的偏差对所述操作指令添加时间戳，生成操作指令宏。

在第一种可能的实现方式中，在所述第一用户设备接收辅流录制开启指令之前，所述方法还包括：

定义结构体；

所述结构体包括：输入设备描述结构体和界面描述结构体；

其中，所述输入设备描述结构体包括用于指示输入设备信息的多个变量，所述变量的不同赋值用于表式所述输入设备的不同操作动作；所述界面描述结构体用于记录所述操作文档的界面状态信息。

结合第一方面的第一种可能的实现方式，在第二种可能的实现方式中，所述操作动作为由所述结构体记录的输入设备输入的操作动作；所述对所述操作动作和对应的界面状态信息进行关联并生成操作指令具体为：

将所述操作动作与对应的界面状态信息通过关联关系式进行关联，并根据预设的辅流播放帧频对生成操作指令；所述关联关系式用以记录所述操作动作对应界面的位置信息；

根据设定的辅流处理帧频对所述操作指令进行打包处理。

在第三种可能的实现方式中，所述方法还包括：

采集输入的视音频数据；

根据设定的辅流播放帧率向所述视音频数据添加所述时间戳，生成视音频文件；所述时间戳为基于所述时间轴的时间戳；所述视音频文件的时间轴与所述操作指令宏的时间轴具有相同的起始时间。

结合第一方面的第三种可能的实现方式，在第四种可能的实现方式中，所述方法还包括：

获取所述操作文档、操作指令宏和视音频文件；

接收辅流播放指令，根据所述辅流播放指令运行所述操作指令宏；

基于所述时间轴，还原所述操作指令宏中记录的相关联的所述操作动作和相对应的界面状态信息；

根据所述界面状态信息加载所述操作文档中的相应内容，并执行所述操作动作；

基于所述时间轴，同步对视音频文件进行播放。