[发明专利]一种预处理单元、由其构成的数据处理系统以及处理方法

摘要

本发明公开了一种数据预处理单元、由其构成的数据处理系统以及处理方法。一种数据预处理单元，该单元包括任务调度模块以及由任务调度模块控制的至少一个任务处理模块，其中，任务调度模块依据网络接收单元捕获的网络数据包，建立任务列表，向预处理模块分配任务并监控其运行状态；任务处理模块包括：管理器；应用协议解析引擎；以及业务数据过滤引擎。所述系统及方法将网络数据包形成元数据存入规则库并实现对其的关联分析。本发明的有益效果为：通过预处理单元对数据的处理，极大的降低后续单元的工作压力，更有效的应对数据访问高峰。处理系统通过对业务数据的关联分析，实现其深度使用。

主权项

一种数据处理系统，该系统包括网络接收单元、处理单元、维护单元、存储单元以及预处理单元，其特征在于，预处理单元包括任务调度模块以及由任务调度模块控制的至少一个任务处理模块，其中，任务调度模块依据网络接收单元捕获的网络数据包，建立任务列表，向任务处理模块分配任务并监控其运行状态，任务调度模块将任务分解成子任务以分配给多个任务处理模块，子任务的处理分为串行处理和并行处理，任务和子任务的运行状态包括准备、就序、处理、完成以及收回；任务处理模块包括管理器、应用协议解析引擎和业务数据过滤引擎：所述管理器用于同任务调度模块进行数据交换，并监控任务处理模块的系统资源和任务执行进度,所述应用协议解析引擎，根据任务指令接收网络数据包并进行解析、整合，形成网络数据包,所述业务数据过滤引擎，接收应用协议解析引擎传输过来的网络数据包，并过滤掉与业务无关的网络数据包；网络接收单元，用以接收网络数据包；处理单元，接收预处理单元传输过来的网络数据包，根据规则库中的提取规则提取业务信息，然后按照关联规则库对提取信息进行关联以生成处理结果；维护单元，对业务信息提取规则和业务信息进行维护和更新；存储单元，存储业务信息提取规则以及业务信息。