[发明专利]一种预处理单元、由其构成的数据处理系统以及处理方法

说明书

技术领域

本发明涉及信息技术领域，具体涉及一种数据预处理单元、由其构成的数据处理系统以及处理方法。

背景技术

随着信息技术的快速发展，网络服务器经常需要处理大量的业务数据，例如促销时的网购、综合查询系统（或警务综合平台）、情报信息综合应用平台、人口信息系统、出入境人员/证件信息库、机动车/驾驶人信息库、公安机关户籍管理系统、金融行业核心业务系统、证劵交易系统、企业ERP应用等以及一些其他行业核心业务系统，基于现有的网络访问行为尚未建立日志或日志信息不全的现状，在信息化与业务工作不断深入融合的背景下，利用信息系统的漏洞或不完善的方面违规操作、冒用他人身份操作、授意他人操作的情况难以避免。更有甚者，在信息系统中恶意修改数据、使用黑客软件攻击服务器的现象也偶有发生。因为没有专门的操作日志记录，导致取证困难，这也充分暴露了内部监督制约的必要性。严格审计管理所有的业务信息系统，并制定责任追查和追踪制度，可以有效防止和避免内部人员利用信息系统监守自盗等非授权的行为操作，确保信息系统的安全。

另外，现有的这些系统中，其业务审计功能普遍较弱，为了对业务行为进行审计，通常的解决方式是对应用系统进行改造，增加业务审计模块，但改造不仅需要经费、影响系统的正常应用，而且对系统的资源（CPU、内存）也会产生较大的压力。

发明内容

有鉴于此，本发明提供的一种预处理单元、由其构成的数据处理系统以及处理方法，通过预处理工序，减轻数据访问高峰阶段服务器的处理压力。

为达到上述目的，本发明采用的技术方案是：

一种数据预处理单元，该单元包括任务调度模块以及由任务调度模块控制的至少一个任务处理模块，其中，

任务调度模块依据网络接收单元捕获的网络数据包，建立任务列表，向预处理模块分配任务并监控其运行状态；

任务处理模块包括：

管理器，用于同任务调度模块进行数据交换，并监控任务处理模块的系统资源和任务执行进度；

应用协议解析引擎，根据任务指令接收网络数据包并进行解析、整合，形成网络数据包；

以及业务数据过滤引擎，接收应用协议解析引擎传输过来的网络数据包，并过滤掉非网络数据包。通过预处理单元处理的网络数据包，都是与业务相关的明文包，极大的减轻处理单元的处理压力。

进一步的，任务调度模块将任务分解成子任务以分配给多个任务处理模块，子任务的处理分为串行处理和并行处理。针对较复杂的任务，多个模块同时处理速度更快。

进一步的，任务和子任务的运行状态包括准备、就序、处理、完成以及收回。更加便于调度模块对任务的调派。

一种数据处理系统，包括网络接收单元、处理单元、维护单元、存储单元以及前述的预处理单元，其中，

网络接收单元，用以接收网络数据包；

处理单元，接收网络接收单元传输过来的网络数据包，根据业务信息提取规则对网络数据包进行关联分析以生成处理结果；

维护单元，对业务信息提取规则和业务信息进行维护和更新；

存储单元，存储业务信息提取规则以及业务信息。

装有预处理单元的系统处理速度更快，处理能力更强大，能应对更大量的数据访问。

进一步的，处理单元接收网络接收单元传输过来的网络数据包，并处理以形成包括请求人、请求时间、目标系统以及业务数据的元数据并存入业务信息。使规则库具有对访问数据的关联分析能力。

进一步的，网络接收单元包括网络身份认证系统和网络数据探针系统，网络身份认证系统用于监控用户状态以确认是否允许用户数据通过，网络数据探针系统根据预设抓包规则捕获网络数据包。进行身份认证以实现请求人确认，通过两个系统实现资源的高效利用。

优选的，存储单元以统一的存储接口集成数据库管理系统和分布式存储架构。可以部署在低廉的硬件上，也可以提供高传输率访问数据，适合未来超大数据集的审计和应用分析。也便于新的存储单元的接入。

一种数据处理方法，包括以下步骤：

801：构建包括业务数据包识别特征和业务信息提取规则的规则库；

802：接收业务数据包，提取由请求人、请求时间、目标系统以及业务数据组成的元数据；

803：根据元数据特征，从规则库中读取提取规则；

804：根据提取规则提取业务信息。

基于关联分析知识，可以对业务信息进行不同的挖掘，从而可以根据需求实现对业务信息的综合分析和处理。