[发明专利]数据源数据自动建模方法

说明书

本发明公开了一种数据源数据自动建模方法，包括如下步骤：多数据源接入及表结构解析：接入不同的数据源中的数据，解析各数据源中所有表的表结构；为数据源表中表结构标识业务对象：遍历数据源中所有表，提取需要建模的属性列表，为每个属性列表中的属性设置业务对象名称、业务对象类型以及业务对象聚集方式；归并同类项业务对象：对所有设置业务对象的属性进行汇总并归并同类项；解析业务对象并建模生成建模结构集：对设置业务对象的属性按照设置参数进行建模，对未设置业务对象的属性按照建模规则进行建模，建模规则包括数值型属性标记为度量，非数值型属性标记为维度，并归并同类项业务对象。可以方便地进行数据建模，有利于分析用户海量数据。

技术领域

本发明涉及一种数据源数据自动建模方法，具体地涉及一种对复杂数据源数据进行自动建模并展示的方法。

背景技术

很多存储复杂数据的数据源，例如从社交数据库、电商数据库，到人类基因数据库，都是基于复杂的多维、大数据量存储的数据集。针对这种数据集进行处理，存在一个巨大的挑战是如何从海量的数据中发现隐含的数据结构、数据关联关系、并最终提取出有意义的数据。通常来说，分析师想不借助任何工具，从如此巨量的数据中提取出有意义的数据来是不太现实的。通常分析师会借助各种分析工具来帮助提取部分有意义的数据。但是依赖现有分析工具对复杂数据源数据进行建模并展示必须要持续的人机交互。用户需要很熟悉复杂数据集的特性，必须给计算机明确的指令来让计算机调用相应的算法来完成建模。在很多情况下，这种人机交互需要重复进行多次。当用户处理的数据是以万亿计时，这样的数据处理方式非常复杂和繁琐。因此需要一种高级数据自动建模以及可视化方式。

发明内容

针对上述技术问题，本发明目的是：提供一种数据源数据自动建模方法，在海量数据中建立分析模型，可以方便地为业务人员进行数据建模，可以更快更好的分析用户海量数据。

本发明的技术方案是：

一种数据源数据自动建模方法，包括如下步骤：

S01：多数据源接入及表结构解析：接入不同的数据源中的数据，解析各数据源中所有表的表结构；

S02：为数据源表中表结构标识业务对象：遍历数据源中所有表，提取需要建模的属性列表，为每个属性列表中的属性设置业务对象名称、业务对象类型以及业务对象聚集方式；

S03：归并同类项业务对象以及来源：对所有设置业务对象的属性进行汇总并归并同类项；

S04：解析业务对象并建模生成建模结构集：对设置业务对象的属性按照设置参数进行建模，对未设置业务对象的属性按照建模规则进行建模，所述建模规则包括数值型属性标记为度量，非数值型属性标记为维度，并归并同类项业务对象。

优选的，所述步骤S01中的表结构包括表中的字段以及字段类型。

优选的，所述步骤S01包括以下步骤：

获取表连接及表结构的元数据；

获取表的表结构属性列表；

记录表结构属性列表，并与步骤S02中生成的业务对象映射匹配。

与现有技术相比，本发明的优点是：

1.该方法可以帮助用户基于数据源中数据快速有效的建立起业务模型，还可以帮助用户发现数据源中隐藏的数据之间的深层次关联关系，比如基于用户身份信息时可以挖掘用户的年龄段以及对应的消费量、消费习惯的关联信息。

2.该方法为用户在海量数据中建立分析模型提供了可行的基础，可以嵌在魔镜数据分析平台中，可以方便的为业务人员进行数据建模，可以更快更好的分析用户海量数据。

附图说明

下面结合附图及实施例对本发明作进一步描述：