[发明专利]辅流处理的方法和装置

权利要求书

1.一种辅流处理的方法，其特征在于，所述方法包括：

用户设备接收辅流录制指令；

根据所述辅流录制指令确定辅流录制的时间轴的起始时间；

接收并识别用户通过输入设备输入的对操作文档的操作动作；

获取所述操作动作相对应的操作文档的界面状态信息；

对所述操作动作和对应的操作文档的界面状态信息进行关联并生成操作指令，并根据接收到所述操作动作的时间与所述起始时间的偏差对所述操作指令添加时间戳，生成操作指令宏；

其中，在用户设备接收辅流录制指令之前，所述方法还包括：

定义结构体；

所述结构体包括：输入设备描述结构体和界面描述结构体；

其中，所述输入设备描述结构体包括用于指示输入设备信息的多个变量，所述变量的不同赋值用于表示所述输入设备的不同操作动作；所述界面描述结构体用于记录所述操作文档的界面状态信息。

2.根据权利要求1所述的方法，其特征在于，所述操作动作为由所述结构体记录的输入设备输入的操作动作；所述对所述操作动作和对应的界面状态信息进行关联并生成操作指令具体为：

将所述操作动作与对应的界面状态信息通过关联关系式进行关联，并根据预设的辅流播放帧频对生成操作指令；所述关联关系式用以记录所述操作动作对应界面的位置信息；

根据设定的辅流播放帧频对所述操作指令进行打包处理。

3.根据权利要求1所述的方法，其特征在于，所述方法还包括：

采集输入的视音频数据；

根据设定的辅流播放帧率向所述视音频数据添加所述时间戳，生成视音频文件；所述时间戳为基于所述时间轴的时间戳；所述视音频文件的时间轴与所述操作指令宏的时间轴具有相同的起始时间。

4.根据权利要求3所述的方法，其特征在于，所述方法还包括：

获取所述操作文档、操作指令宏和视音频文件；

接收辅流播放指令，根据所述辅流播放指令运行所述操作指令宏；

基于所述时间轴，还原所述操作指令宏中记录的相关联的所述操作动作和相对应的界面状态信息；

根据所述界面状态信息加载所述操作文档中的相应内容，并执行所述操作动作；

基于所述时间轴，同步对视音频文件进行播放。

5.根据权利要求4所述的方法，其特征在于，所述辅流播放指令指示的起始播放时间对应第一时间戳；所述基于所述时间轴，还原所述操作指令宏中记录的相关联的所述操作动作和相对应的界面状态信息具体为：

获取所述第一时间戳对应的操作动作和相对应的界面状态信息。

6.一种辅流处理的方法，其特征在于，所述方法包括：

第一用户设备接收辅流录制指令；

根据所述辅流录制指令确定辅流录制的时间轴的起始时间；

接收第二用户设备发送的数据包，所述数据包包括第二用户设备根据第二用户输入的对操作文档的操作动作生成的操作指令；所述操作指令包括与所述操作动作相对应的操作文档的界面状态信息；

根据所述数据包的接收时间与所述起始时间的偏差对所述操作指令添加时间戳，生成操作指令宏；

其中，在所述第一用户设备接收辅流录制指令之前，所述方法还包括：

定义结构体；所述结构体包括：输入设备描述结构体和界面描述结构体；其中，所述输入设备描述结构体包括用于指示输入设备信息的多个变量，所述变量的不同赋值用于表示所述输入设备的不同操作动作；所述界面描述结构体用于记录所述操作文档的界面状态信息；

所述第一用户设备建立与第二用户设备之间的通信协议；

通过所述通信协议向第二用户设备传输所述结构体。

7.根据权利要求6所述的方法，其特征在于，在所述第一用户设备接收辅流录制开启指令之前，所述方法还包括：

所述第一用户设备建立与第二用户设备之间的通信协议；

通过所述通信协议接收第二用户设备发送的所述第二用户设备定义的结构体；所述结构体包括：输入设备描述结构体和界面描述结构体；其中，所述输入设备描述结构体包括用于指示输入设备信息的多个变量，所述变量的不同赋值用于表示所述输入设备的不同操作动作；所述界面描述结构体用于记录所述操作文档的界面状态信息。