[发明专利]一种基于数据仓库的数据处理装置及方法

摘要

本发明实施例提供一种基于数据仓库的数据处理装置及方法，该装置包括：数据存储装置，用于作为数据的存储空间；数据预处理装置，用于得到原始数据及关键字字典，得到关键要素；数据解析装置，用于读取数据存储装置中的预处理数据，解析得到数据源关系集合中不同维度的转换结果；同时还用于生成元素集合中的优先级；数据重构装置，用于进行全局性的压缩，重组，形成完整的执行语句；执行监控装置，用于从压缩重组存储单元得到可执行的语句，并以多线程方式提交执行，得到每种数据源连接配以元素取值在数据仓库中出现的记录数，并对单个元素条件进行统计。本发明实施例实现了语句运行时间的确定性、系统资源有效利用，提高了数据转换的效率。

主权项

一种基于数据仓库的数据处理装置，其特征在于，所述基于数据仓库的数据处理装置包括：数据存储装置、数据预处理装置、数据解析装置、数据重构装置、执行监控装置，其中：数据存储装置，用于作为数据的存储空间，该数据存储装置包含：原始存储单元、关键字存储单元、预处理存储单元、统计存储单元、数据源关系加工存储单元、单元素取值存储单元、压缩重组存储单元、海量数据映射存储单元；数据预处理装置，用于读取原始存储单元和关键字存储单元，分别得到原始数据及关键字字典，通过关键字字典对原始数据做拆解，得到关键要素，关键要素包括：目标数据源、数据源关系集合、元素取值集合及转换结果，随后将关键要素存入预处理存储单元，其中的数据称为预处理数据，最后数据预处理装置发出完成消息通知数据解析装置；数据解析装置，用于接收到数据预处理装置的完成消息后，读取数据存储装置中的预处理数据，解析得到数据源关系集合中不同维度的转换结果，将其保存在数据存储装置中的数据源关系加工存储单元；同时还用于从数据存储装置中的统计存储单元读取统计信息，生成元素集合中的优先级，并将其保存在统计存储单元，同时发送完成信息给数据重构装置；数据重构装置，用于接收来自数据解析装置发来的完成消息，从数据存储装置读取数据源关系加工存储单元及统计存储单元数据，进行全局性的压缩，重组，形成完整的执行语句，并存入压缩重组存储单元，之后发送完成消息至执行监控装置；执行监控装置，用于接收数据重构装置发送的完成消息，从压缩重组存储单元得到可执行的语句，并以多线程方式提交执行；在执行过程中，执行监控装置读取数据源关系加工存储单元及统计存储单元中的数据，分别得到数据源连接集合及元素取值集合，对于正在执行的语句进行监控，得到每种数据源连接配以元素取值在数据仓库中出现的记录数，并对单个元素条件进行统计；将统计结果记录进统计存储单元中，供数据解析装置下次调用获取。