[发明专利]分光数据的处理方法及相关装置

权利要求书

1.一种分光数据的处理方法，其特征在于，所述方法包括：

查询网络抓取工具的组件接口；

基于查询到的组件接口调用所述网络抓取工具抓取目标进程的超文本传输协议通信数据包；

从所述超文本传输协议通信数据包中过滤出目标方法数据；

基于页面置换算法，从所述目标方法数据获取目标数据；

将所述目标数据输出到分布式流媒体平台集群。

2.根据权利要求1所述的方法，其特征在于，所述基于查询到的组件接口调用所述网络抓取工具抓取目标进程的超文本传输协议通信数据包，具体包括：

基于所述目标数据的指定超文本传输协议，调用所述网络抓取工具抓取目标进程的超文本传输协议通信数据包。

3.根据权利要求1所述的方法，其特征在于，所述从所述超文本传输协议通信数据包中过滤出目标方法数据，具体包括：

基于所述目标数据的指定目标方法，从所述超文本传输协议通信数据包中过滤出目标方法数据。

4.根据权利要求1所述的方法，其特征在于，所述目标数据分包传输，所述基于页面置换算法，从所述目标方法数据获取目标数据，具体包括：

分离所述目标方法数据的协议头及协议体，过滤出所述协议体数据；

基于页面置换算法，对所述协议体数据建立流表，所述流表用于保存所述协议体数据的上下文关系；

基于所述流表中记录的上下文关系重构出所述目标数据。

5.根据权利要求4所述的方法，其特征在于，所述流表中保存有所述目标数据的整包标识以及所述目标数据的分包标识以及所述目标数据的分包数量信息，所述基于所述流表中记录的上下文关系重构出所述目标数据，具体包括：

基于所述整包标识识别出所述目标数据的所有分包；

基于各个分包的分包标识和所述分包数量信息确定所述目标数据的所有分包是否收集完毕；

若收集完毕，则基于各个分包的分包标识重构出所述目标数据。

6.根据权利要求5所述的方法，其特征在于，所述方法还包括：

若指定时长内任一分包未参与重构，则将所述分包从所述流表中清除。

7.根据权利要求4所述的方法，其特征在于，所述方法还包括：

若所述目标数据输出到分布式流媒体平台集群，则从所述流表中清除所述目标数据。

8.根据权利要求1所述的方法，其特征在于，所述方法还包括：

在查询网络抓取工具的组件接口之前，采用高性能采集库对网络抓取工具进行二次编译。

9.一种分光数据的处理装置，其特征在于，所述装置包括：

查询模块，用于查询网络抓取工具的组件接口；

抓取模块，用于基于查询到的组件接口调用所述网络抓取工具抓取目标进程的超文本传输协议通信数据包；

过滤模块，用于从所述超文本传输协议通信数据包中过滤出目标方法数据；

获取模块，用于基于页面置换算法，从所述目标方法数据获取目标数据；

传输模块，用于将所述目标数据输出到分布式流媒体平台集群。

10.根据权利要求9所述的装置，其特征在于，执行所述基于查询到的组件接口调用所述网络抓取工具抓取目标进程的超文本传输协议通信数据包，所述抓取模块具体用于：

基于所述目标数据的指定超文本传输协议，调用所述网络抓取工具抓取目标进程的超文本传输协议通信数据包。

11.根据权利要求9所述的装置，其特征在于，执行所述从所述超文本传输协议通信数据包中过滤出目标方法数据，所述过滤模块具体用于：

基于所述目标数据的指定目标方法，从所述超文本传输协议通信数据包中过滤出目标方法数据。