[发明专利]一种基于数据仓库的数据处理装置及方法

说明书

技术领域

本发明涉及计算机数据处理技术领域，特别是涉及一种基于数据仓库的数据处理装置及方法。

背景技术

信息多样化的今天，随着数据逐渐增多，数据的存储也达到了一定的高度，在很多企业进入了数据仓库的时代，越来越多的应用开始使用数据仓库的数据，从中获取各自需要的信息。在这当中，就有很大一部分需求是将仓库的数据做一定的转换以满足自己的目的。由于数据仓库中存储的是海量数据，如果以传统方式，每个应用都以自己的途径通过循环、匹配、映射等方法做转换将有极大的效率问题。

举个简单的例子，当来自不同应用的请求分别对海量数据进行抽取并进行数据转换，其中有40%以上的请求都使用到了相同的客户信息关联协议的数据，另有30%使用到相同的日志表关联地址信息，如果采用传统方式，每个应用都以自己的途径独立进行数据转换，将导致以下缺陷：

1、数据区间重复访问，即使有了数据库连接池技术，仍得承认，重复N次操作将把时间横向扩大N倍，对于外围接入不通过数据库连接池的访问，将有更大的开销；

2、数据源之间被反复连接，当数据库进行连接时，底层会进行许多繁琐的重分布，即使全部使用索引方式连接，数据库也有很大的开销，更何况实际情况做不到全索引连接；

3、数据条件的不确定性，当数据达到海量时，再将所有数据与自己需要的条件匹配，如同大海捞针，运行的时间有很大的不可控性。

4、系统资源被大量冗余占用，服务器CPU长期在计算，内存空间得不到有效利用，真正迫切的请求可能仍在进程队列中等待资源的释放。

发明内容

本发明实施例提供一种基于数据仓库的数据处理装置及方法，以克服多渠道海量数据转换反复连接数据库的问题，提高了数据转换效率。

一方面，本发明实施例提供了一种基于数据仓库的数据处理装置，所述基于数据仓库的数据处理装置包括：数据存储装置、数据预处理装置、数据解析装置、数据重构装置、执行监控装置，其中：

数据存储装置，用于作为数据的存储空间，该数据存储装置包含：原始存储单元、关键字存储单元、预处理存储单元、统计存储单元、数据源关系加工存储单元、单元素取值存储单元、压缩重组存储单元、海量数据映射存储单元；

数据预处理装置，用于读取原始存储单元和关键字存储单元，分别得到原始数据及关键字字典，通过关键字字典对原始数据做拆解，得到关键要素，关键要素包括：目标数据源、数据源关系集合、元素取值集合及转换结果，随后将关键要素存入预处理存储单元，其中的数据称为预处理数据，最后数据预处理装置发出完成消息通知数据解析装置；

数据解析装置，用于接收到数据预处理装置的完成消息后，读取数据存储装置中的预处理数据，解析得到数据源关系集合中不同维度的转换结果，将其保存在数据存储装置中的数据源关系加工存储单元；同时还用于从数据存储装置中的统计存储单元读取统计信息，生成元素集合中的优先级，并将其保存在统计存储单元，同时发送完成信息给数据重构装置；

数据重构装置，用于接收来自数据解析装置发来的完成消息，从数据存储装置读取数据源关系加工存储单元及统计存储单元数据，进行全局性的压缩，重组，形成完整的执行语句，并存入压缩重组存储单元，之后发送完成消息至执行监控装置；

执行监控装置，用于接收数据重构装置发送的完成消息，从压缩重组存储单元得到可执行的语句，并以多线程方式提交执行；在执行过程中，执行监控装置读取数据源关系加工存储单元及统计存储单元中的数据，分别得到数据源连接集合及元素取值集合，对于正在执行的语句进行监控，得到每种数据源连接配以元素取值在数据仓库中出现的记录数，并对单个元素条件进行统计；将统计结果记录进统计存储单元中，供数据解析装置下次调用获取。