[发明专利]数据分析系统和方法

说明书

本发明提供了一种数据分析系统，包括：调度器，用于分配以数据库查询语言描述的任务信息；数据分析引擎，用于将任务信息转换为分布式语法，以对数据建立索引；数据仓库，用于存储具有所建立的索引的数据；分析数据库，与数据仓库同步具有所建立的索引的数据；查询模块，用于接收与针对所述数据的至少一部分的查询相关联的元数据；以及配置模块，用于将元数据转换为数据分析引擎能够识别的第一语法。所述数据分析引擎被配置为将以第一语法描述的元数据转换为分析数据库能够识别的第二语法，述分析数据库被配置为基于以第二语法描述的元数据来执行所述查询。

技术领域

本发明涉及数据处理，更具体地，涉及一种数据分析系统和方法。

背景技术

随着信息技术的发展，企业信息系统产生了大量的数据。如何从这些海量数据中提取对企业决策分析有用的信息成为企业决策管理人员所面临的重要难题。如何在企业数据仓库的基础上解决可视化灵活分析查询的问题随之而来。

传统上，所有的数据分析需求都须提交给数据部门，数据部门通过执行hadoop的map/reduce程序，快则1小时，慢则几天，才能将结果提供给业务部门。业务部门在获取数据后需要借助于办公软件或其他第三方软件进行数据分析，最终形成分析结果。随着需求的不断变化，往往业务部门需要多次这样反复这样的工作，时效性很差，很难满足业务需要。

这种传统的数据分析方案时间周期长且不可控，缺乏有效的系统化管理。针对需求变化，这种方案需有较长的响应时间。此外，缺乏可视化的数据分析系统，用户体验不佳。

因此，需要一种改进的数据分析方案。

发明内容

本发明的目的是提供一种数据分析系统和方法，能够在企业级数据架构(例如hadoop)的基础上，提供用户高效的(例如，秒级)的灵活可拖拽、可钻取的企业级数据分析方案。

根据本发明的第一方面，提供了一种数据分析系统，包括：调度器，用于分发以数据库查询语言描述的任务信息；数据分析引擎，用于将任务信息转换为分布式语法，以对数据建立索引；数据仓库，用于存储具有所建立的索引的数据；分析数据库，与数据仓库同步具有所建立的索引的数据；查询模块，用于接收与针对所述数据的至少一部分的查询相关联的元数据；以及配置模块，用于将元数据转换为数据分析引擎能够识别的第一语法。所述数据分析引擎被配置为将以第一语法描述的元数据转换为分析数据库能够识别的第二语法，所述分析数据库被配置为基于以第二语法描述的元数据来执行所述查询。

在一实施例中，所述数据库查询语言是HQL查询语言。

在一实施例中，所述分布式语法基于Map/Reduce模型，所述索引是lucence索引。

在一实施例中，所述第一语法基于HQL查询语言，所述第二语法基于solr应用服务器。

在一实施例中，所述查询模块包括用户接口，用于从用户接收元数据。

在一实施例中，所述数据分析引擎还被配置为从分析数据库接收查询结果，并将查询结果发送给配置模块，所述配置模块还被配置为将查询结果发送给查询模块，以及所述查询模块还被配置为向用户呈现查询结果。

根据本发明的第二方面，提供了一种数据分析方法，包括：向数据分析引擎分发以数据库查询语言描述的任务信息；数据分析引擎将任务信息转换为分布式语法，以对数据建立索引；将具有所建立的索引的数据存储在数据仓库中；将数据仓库中存储的具有所建立的索引的数据同步至分析数据库；接收与针对所述数据的至少一部分的查询相关联的元数据；将元数据转换为数据分析引擎能够识别的第一语法；数据分析引擎将以第一语法描述的元数据转换为分析数据库能够识别的第二语法；以及分析数据库基于以第二语法描述的元数据来执行所述查询。

上述第一方面的实施例也适用于第二方面。