[发明专利]一种图指标流批一体化处理方法及装置

说明书

本申请的一种图指标流批一体化处理方法及装置，根据全图数据得到边表和点表并存储到Hive数据库中，将边表和点表输入到计算模型生成第一连通图表，将边表、点表以及第一连通图表输入到预设程序中得到图数据库底层文件，调用图指标的计算模型以及参数列表的参数组合，在图数据库底层文件中查找与参数组合匹配的目标数据，根据计算模型对目标数据进行图指标计算得到图指标计算结果，通过调用HBase的api将图指标计算结果存入Hbase。将全图数据进行拆分得到不同连通图的数据分别精确的生成了不同的图数据库底层文件，在指标计算时不必跨网络拉取数据，性能更高，能够将计算结果进行精确存储。

技术领域

本申请涉及图计算技术领域，尤其涉及一种图指标流批一体化处理方法及装置。

背景技术

在相关的图指标处理技术中，对于每个图指标的计算，业务系统需要向计算服务发起两次请求。第一次请求是获得所有的输入数据组合，并且缓存在业务系统内部，这样可能会增加业务系统的复杂性。在图数据库实例计算图指标时，会从底层分布式的存储系统里获取参与计算的数据，这样可能导致网络开销较大，且存在一些不可控的突发情况。

发明内容

本申请提供一种图指标流批一体化处理方法及装置，以改善上述背景技术的技术问题。

一种图指标流批一体化处理方法，所述方法包括：

根据图数据库中的全图数据得到边表和点表，并将所述边表和所述点表存储到Hive数据库中；

基于所述Hive数据库中的所述边表和所述点表以及预设Spark计算模型，生成第一连通图表；其中，所述第一连通图表中包含两列，一列为点的ID，另一列为第一连通图的ID；

将所述边表、所述点表以及所述第一连通图表输入到预设Spark程序中，得到每一个第一连通图对应的图数据库底层文件；

调用图指标的计算模型以及参数列表的参数组合，在所述图数据库底层文件中查找与所述参数组合匹配的目标数据，根据所述计算模型对所述目标数据进行图指标计算，得到图指标计算结果；

通过调用HBase的api将所述图指标计算结果存入Hbase。

进一步地，根据图数据库中的全图数据得到边表和点表，并将所述边表和所述点表存储到Hive数据库中，包括：

通过数据读取接口访问所述图数据库，将所述图数据库中的目标图对应的数据全量导出，得到边表和点表，将所述边表和所述点表存储到Hive数据库中。

进一步地，所述将所述边表、所述点表以及所述第一连通图表输入到预设Spark程序中，得到每一个第一连通图对应的图数据库底层文件的步骤包括：

将所述边表和所述点表输入到预设Spark计算模型中时，所述Spark计算模型遍历每一个第一连通图的数据，将同一个第一连通图的数据聚合到同一份图数据库底层文件中；

将每一图数据库底层文件进行压缩，得到对应的压缩包，并将所述压缩包存放到HDFS文件系统中。

进一步地，根据所述计算模型对所述目标数据进行图指标计算之前，所述方法还包括：

在进行图指标计算之前，提取参数列表的参数组合，判断所述参数列表的参数组合与图数据库底层文件的映射表是否存在映射关系；

若存在，则遍历所述参数组合并进行图指标计算；

若不存在，则遍历每一个第一连通图的底层文件，查询出所有的所述参数组合，并且将所述参数组合和所述第一连通图底层文件的映射关系固化到所述Hive数据库中，再遍历所述参数组合并进行图指标计算。

进一步地，所述方法还包括：

并行地将所述图指标计算结果存入所述Hive数据库中。