[发明专利]一种基于数据仓库的数据处理装置及方法

权利要求书

1.一种基于数据仓库的数据处理装置，其特征在于，所述基于数据仓库的数据处理装置包括：数据存储装置、数据预处理装置、数据解析装置、数据重构装置、执行监控装置，其中：

数据存储装置，用于作为数据的存储空间，该数据存储装置包含：原始存储单元、关键字存储单元、预处理存储单元、统计存储单元、数据源关系加工存储单元、单元素取值存储单元、压缩重组存储单元、海量数据映射存储单元；

数据预处理装置，用于读取原始存储单元和关键字存储单元，分别得到原始数据及关键字字典，通过关键字字典对原始数据做拆解，得到关键要素，关键要素包括：目标数据源、数据源关系集合、元素取值集合及转换结果，随后将关键要素存入预处理存储单元，其中的数据称为预处理数据，最后数据预处理装置发出完成消息通知数据解析装置；

数据解析装置，用于接收到数据预处理装置的完成消息后，读取数据存储装置中的预处理数据，解析得到数据源关系集合中不同维度的转换结果，将其保存在数据存储装置中的数据源关系加工存储单元；同时还用于从数据存储装置中的统计存储单元读取统计信息，生成元素集合中的优先级，并将其保存在统计存储单元，同时发送完成信息给数据重构装置；

数据重构装置，用于接收来自数据解析装置发来的完成消息，从数据存储装置读取数据源关系加工存储单元及统计存储单元数据，进行全局性的压缩，重组，形成完整的执行语句，并存入压缩重组存储单元，之后发送完成消息至执行监控装置；

执行监控装置，用于接收数据重构装置发送的完成消息，从压缩重组存储单元得到可执行的语句，并以多线程方式提交执行；在执行过程中，执行监控装置读取数据源关系加工存储单元及统计存储单元中的数据，分别得到数据源连接集合及元素取值集合，对于正在执行的语句进行监控，得到每种数据源连接配以元素取值在数据仓库中出现的记录数，并对单个元素条件进行统计；将统计结果记录进统计存储单元中，供数据解析装置下次调用获取。

2.如权利要求1所述基于数据仓库的数据处理装置，其特征在于，所述数据解析装置包括：数据源加工单元和元素加工单元，其中：

数据源加工单元，用于接收来自数据预处理装置发来的完成消息，从数据存储装置中读取预处理存储单元的数据；对预处理数据中数据源关系集合进行解析，提取数据源及数据源之间的关系，通过对数据源及数据源之间的关系进行变形计算，最终计算出“数据源关系”、“转换1”，“转换2”，“转换3”；并将其保存在数据存储装置中的数据源关系加工存储单元；同时发送完成消息给元素加工单元；

元素加工单元，用于接收数据源加工单元的完成消息，从数据存储装置读取数据源关系加工存储单元中相同的“转换2”和“转换3”对应的“序号”，用这些“序号”与预处理存储单元中的“序号”做相等关联，得到预处理存储单元中的元素取值集合，然后，结合统计存储单元中统计出现次数的状态对元素取值集合进行频度分析得到各元素取值在表达式中出现的次数，将其补充到统计存储单元中。

3.如权利要求2所述基于数据仓库的数据处理装置，其特征在于，所述数据源加工单元包括：数据源提取单元和数据源解析重组单元，其中：

数据源提取单元，用于接收来自数据预处理装置发来的完成消息，从数据存储装置中读取预处理存储单元的数据源关系集合以及关键存储单元中的关键字，在数据源关系集合中按顺序匹配关键字，得到数据源关系，写入数据存储装置中的数据源关系加工存储单元，并发送完成消息给数据源解析重组单元；

数据源解析重组单元，用于接收来自数据源提取单元发来的完成消息，从数据源关系加工存储单元读取数据源关系，对其进行join前置，数据源排序，数据源连接条件排序三步操作，得到压缩重组的数据源关系集合，将结果填入数据源关系加工存储单元中的“转换1”，“转换2”，“转换3”，完成后发送完成消息给元素加工单元。