[发明专利]银行业务数据处理、查询方法及装置

说明书

本发明提供了银行业务数据处理、查询方法及装置，方法包括：将存储至大数据节点服务器的银行业务源数据加载到HIVE数据库；按预设的业务数据维度对HIVE数据库中的银行业务源数据进行预处理；将预处理后的银行业务源数据存储至HBASE数据库。本发明基于大数据技术支持海量数据的处理和查询，解决数据容量存储问题以及维度查询效率问题，能有效的满足历史数据分析，分维度快速展示的需求。

技术领域

本发明涉及数据处理技术，具体的讲是一种银行业务数据处理、查询方法及装置。

背景技术

根据金融行业需求，需要提供相关交易的各种维度的查询，以支持业务部门营销活动和考核的开展。

现有技术的报表系统多采用关系型数据库如oracle，如果数据规模达到TB级以上，加工效率和查询效率就会严重降低，对于传统关系型数据库，只能采用部分存储或者分库分表的方式来解决容量限制问题。

发明内容

为满足银行对历史数据分析，分维度快速展示的需求，实现海量数据处理及查询，本发明实施例提供了一种银行业务数据处理方法，该处理方法包括：

将存储至大数据节点服务器的银行业务源数据加载到HIVE数据库；

按预设的业务数据维度对HIVE数据库中的银行业务源数据进行预处理；

将预处理后的银行业务源数据存储至HBASE数据库。

本发明实施例中，将存储至大数据节点服务器的银行业务源数据加载到HIVE数据库包括：

根据业务数据的交易明细将存储至大数据节点服务器的银行业务源数据加载到HIVE数据库；其中，所述的业务数据的交易明细包括：产品交易流水、产品基本信息、交易机构信息、客户持仓信息、产品类型信息及交易渠道信息。

本发明实施例中，所述的按预设的业务数据维度对HIVE数据库中的银行业务源数据进行预处理包括：

按预设的业务数据维度利用KYLIN对HIVE数据库中的银行业务源数据进行预处理；其中，所述的业务数据维度包括：交易日期、交易机构、交易渠道及产品类型。

同时，本发明还提供一种银行业务数据查询方法，该查询方法包括：

将存储至大数据节点服务器的银行业务源数据加载到HIVE数据库；

按预设的业务数据维度对HIVE数据库中的银行业务源数据进行预处理；

将预处理后的银行业务源数据存储至HBASE数据库；

利用多维数据引擎查询存储至HBASE数据库的银行业务源数据。

同时，本发明还提供一种银行业务数据处理装置，处理装置包括：

HIVE加载模块，用于将存储至大数据节点服务器的银行业务源数据加载到HIVE数据库；

预处理模块，用于按预设的业务数据维度对HIVE数据库中的银行业务源数据进行预处理；

存储模块，用于将预处理后的银行业务源数据存储至HBASE数据库。

本发明实施例中，所述的HIVE加载模块将存储至大数据节点服务器的银行业务源数据加载到HIVE数据库包括：

根据业务数据的交易明细将存储至大数据节点服务器的银行业务源数据加载到HIVE数据库；其中，所述的业务数据的交易明细包括：产品交易流水、产品基本信息、交易机构信息、客户持仓信息、产品类型信息及交易渠道信息。

本发明实施例中，所述的预处理模块按预设的业务数据维度对HIVE数据库中的银行业务源数据进行预处理包括：