[发明专利]互联网金融大数据仓库分析挖掘方法

说明书

技术领域

本发明涉及互联网金融领域；更具体地，本发明涉及一种互联网金融大数据仓库分析挖掘方法。

背景技术

信息时代，信息无处不在。对于互联网企业，随着业务的发展，用户的增长，版本的演进，历史数据的堆积，新数据源的接入，数据越来越表现出了以下4个特征：海量的数据规模(volume)、快速的数据流转和动态的数据体系(velocity)、多样的数据类型(variety)和巨大的数据价值(value)。

在互联网金融架构构建之初，业务架构主要是基于mysql、postgresql、oracle、DB2等关系型数据库，这些数据库支持OLTP事务处理，而对于金融业务，其中的核心业务如借款还款必须要用到事务处理。然而，互联网金融，既是金融也是互联网，用户的增多和历史数据的堆积，意味着数据规模在爆发性增长。移动互联网的快节奏，意味着数据流转的时效性。版本的演进，新数据源的接入，意味着数据类型多种多样，而数据对业务的推动性，意味着巨大的数据价值。

这一切，都是原有关系型数据库架构难以实现的。关系型数据库无法支持海量数据，对于动态的数据体系也不友好，单单是跨库联表查询就很难实现，对于其他数据类型尤其是非结构化数据类型(如json文件、nginx日志、数据类型和长度不定的文本数据等)也很难支持。

发明内容

本发明所要解决的技术问题是针对现有技术中存在上述缺陷，提供一种针对互联网金融的大数据仓库分析挖掘方法，它整合现有大数据生态系统软件，使得大量的业务数据得以清洗、整合、入库，在数据仓库中进行数据统计、报表展示的浅层的数据分析，同时构建数据模型，进行深入的数据挖掘和机器学习。

根据本发明，提供了一种互联网金融大数据仓库分析挖掘方法，包括：

第一步骤：执行数据同步集成，其中使用大数据工具将数据导入数据仓库中；

第二步骤：执行数据处理，其中在数据仓库中进行数据处理，生成基于多维度的用于预定功能的中间表；

第三步骤：使用大数据软件，对生成的中间表进行查询分析处理。

优选地，查询分析处理包括数据展示，其中使用web数据展示工具，在界面上进行多重维度展示。

优选地，查询分析处理包括数据挖掘和机器学习，其中利用数据引擎对数据仓库进行查询，在数据引擎生成数据模型中间表，然后利用机器学习平台来构建模型。

优选地，所述数据包括关系型数据库表数据、日志文件数据、搜索服务器数据。

优选地，第一步骤在数据仓库的操作数据存储层实现。

优选地，第二步骤在数据仓库的数据集市层实现。

优选地，数据处理包括数据清洗和/或数据整合。

优选地，所述多维度包括用户维度、渠道维度、合同维度、账务维度。

优选地，所述预定功能包括用户画像功能、渠道分析功能、账务统计功能。

优选地，大数据软件包括hive软件、elasticsearch软件、presto软件。

附图说明

结合附图，并通过参考下面的详细描述，将会更容易地对本发明有更完整的理解并且更容易地理解其伴随的优点和特征，其中：

图1示意性地示出了根据本发明优选实施例的互联网金融大数据仓库分析挖掘方法的流程图。

图2示意性地示出了根据本发明优选实施例的互联网金融大数据仓库分析挖掘方法的框图。

需要说明的是，附图用于说明本发明，而非限制本发明。注意，表示结构的附图可能并非按比例绘制。并且，附图中，相同或者类似的元件标有相同或者类似的标号。

具体实施方式

为了使本发明的内容更加清楚和易懂，下面结合具体实施例和附图对本发明的内容进行详细描述。

图1示意性地示出了根据本发明优选实施例的互联网金融大数据仓库分析挖掘方法的流程图，图2示意性地示出了根据本发明优选实施例的互联网金融大数据仓库分析挖掘方法的框图。

如图1和图2所示，根据本发明优选实施例的互联网金融大数据仓库分析挖掘方法包括：

第一步骤S1：执行数据同步集成，其中使用大数据工具将数据导入数据仓库中；

优选地，所述数据包括关系型数据库表数据、日志文件数据、搜索服务器(ElasticSearch)数据。

具体地，例如，第一步骤S1在数据仓库的操作数据存储(ODS，Operational Data Store)层实现。