[发明专利]一种图指标流批一体化处理方法及装置

权利要求书

1.一种图指标流批一体化处理方法，其特征在于，所述方法包括：

根据图数据库中的全图数据得到边表和点表，并将所述边表和所述点表存储到Hive数据库中；

基于所述Hive数据库中的所述边表和所述点表以及预设Spark计算模型，生成第一连通图表；其中，所述第一连通图表中包含两列，一列为点的ID，另一列为第一连通图的ID；

将所述边表、所述点表以及所述第一连通图表输入到预设Spark程序中，得到每一个第一连通图对应的图数据库底层文件；

调用图指标的计算模型以及参数列表的参数组合，在所述图数据库底层文件中查找与所述参数组合匹配的目标数据，根据所述计算模型对所述目标数据进行图指标计算，得到图指标计算结果；其中，所述图指标用于表征图中对应的特征；

通过调用HBase的api将所述图指标计算结果存入Hbase；

其中，所述方法还包括：

在进行图指标计算之前，提取参数列表的参数组合，判断所述参数列表的参数组合与图数据库底层文件的映射表是否存在映射关系；

若存在，则遍历所述参数组合并进行图指标计算；

若不存在，则遍历每一个第一连通图的底层文件，查询出所有的所述参数组合，并且将所述参数组合和所述第一连通图底层文件的映射关系固化到所述Hive数据库中，再遍历所述参数组合并进行图指标计算。

2.根据权利要求1所述的方法，其特征在于，根据图数据库中的全图数据得到边表和点表，并将所述边表和所述点表存储到Hive数据库中，包括：

通过数据读取接口访问所述图数据库，将所述图数据库中的目标图对应的数据全量导出，得到边表和点表，将所述边表和所述点表存储到Hive数据库中。

3.根据权利要求1所述的方法，其特征在于，将所述边表、所述点表以及所述第一连通图表输入到预设Spark程序中，得到每一个第一连通图对应的图数据库底层文件，包括：

将所述边表和所述点表输入到预设Spark计算模型中时，所述Spark计算模型遍历每一个第一连通图的数据，将同一个第一连通图的数据聚合到同一份图数据库底层文件中；

将每一图数据库底层文件进行压缩，得到对应的压缩包，并将所述压缩包存放到HDFS文件系统中。

4.根据权利要求1所述的方法，其特征在于，所述方法还包括：

并行地将所述图指标计算结果存入所述Hive数据库中。

5.一种图指标流批一体化处理装置，其特征在于，所述装置包括：

数据采集模块，用于根据图数据库中的全图数据得到边表和点表，并将所述边表和所述点表存储到Hive数据库中；

数据计算模块，用于基于所述Hive数据库中的所述边表和所述点表以及预设Spark计算模型，生成第一连通图表；其中，所述第一连通图表中包含两列，一列为点的ID，另一列为第一连通图的ID；

数据处理模块，用于将所述边表、所述点表以及所述第一连通图表输入到预设Spark程序中，得到每一个第一连通图对应的图数据库底层文件；

数据匹配模块，用于调用图指标的计算模型以及参数列表的参数组合，在所述图数据库底层文件中查找与所述参数组合匹配的目标数据，根据所述计算模型对所述目标数据进行图指标计算，得到图指标计算结果；其中，所述图指标用于表征图中对应的特征；

数据存储模块，用于通过调用HBase的api将所述图指标计算结果存入Hbase；

其中，所述数据匹配模块，具体用于：

在进行图指标计算之前，提取参数列表的参数组合，判断所述参数列表的参数组合与图数据库底层文件的映射表是否存在映射关系；

若存在，则遍历所述参数组合并进行图指标计算；

若不存在，则遍历每一个第一连通图的底层文件，查询出所有的所述参数组合，并且将所述参数组合和所述第一连通图底层文件的映射关系固化到所述Hive数据库中，再遍历所述参数组合并进行图指标计算。

6.根据权利要求5所述的装置，其特征在于，所述数据采集模块，具体用于：

通过数据读取接口访问所述图数据库，将所述图数据库中的目标图对应的数据全量导出，得到边表和点表，将所述边表和所述点表存储到Hive数据库中。