[发明专利]一种基于Pregel的实现挖掘商业银行交易数据的资金圈分布的方法

说明书

本发明公开了一种基于Pregel的实现挖掘商业银行交易数据的资金圈分布的方法，包括如下步骤：步骤1：以转账交易数据构建边，形成一个资金交易的有向图；步骤2：设计一种对适配性强的迭代算法，并基于spark的pregel引擎实现，以此找出成环的资金流向。本发明解决了在利用传统方法求解资金圈形态时，由于潜在的数据倾斜导致性能不佳的问题。本发明方法依旧采用逐层迭代，但不再需要多次大表join，解决了传统做法由于多次join,代码冗余，且不能灵活跟随资金圈的节点个数的问题。本发明在代码完成后，能够支持不改变原有任何代码逻辑，将代码打包，并且只需要在配置文件中配置层次参数，就能动态实现寻找k个节点的资金圈，这更适合真实业务场景，提升效率。

技术领域

本发明涉及经济风险分析技术领域，更具体地说，它涉及一种基于Pregel的实现挖掘商业银行交易数据的资金圈分布的方法。

背景技术

在审计领域里，资金交易分析为其必不可少的一个部分。而资金交易又存在种种形态，比如担保圈，资金圈等。其中，资金圈形态主要指，客户与第三方的资金多次交易，并且相邻两笔交易之间存在一定的约束关系，并最终回流到自身的情况。资金圈形态的出现代表着该链路所形成的社区客户，存在某种非法交易，特殊交易的可能，因而具有审计的需要，以规避可能出现的经济风险。

目前挖掘资金圈以寻找资金流向的具体形态为思路，传统方法以穷举，hivesql或者sparksql遍历为主，但总的来说，该种手段过于复杂，计算量大，且不够灵活，很难做到适配化。比如，

1.资金转账表一般量级很大，用sql去追踪资金交易时，其实就是寻找类似a-b-c的链路，这种实现通过sqljoin来实现。但两大表的join操作会导致笛卡尔积的产生。并且资金圈一般链路较长，因而随着链路变长，会产生多次笛卡尔积。并且，由于资金转账涉及多种业务类型，所以存在着银行业务里最为夸张的数据倾斜(比如多个子公司向母公司转账)。交易数据量巨大，多重笛卡尔积，数据倾斜，这三者对系统内存容量提出了极高的要求。而且运行风险不好评估，难以确保代码能顺利跑通。

2.传统的利用sql来寻找资金圈的办法，很难做到很灵活，例如，比如资金圈历经10个实体，则sql要写9次。如果要找出历经12个实体的，则要写11次sql。这会导致很多重复工作，代码冗长。

基于上面这些存在问题，本发明设计了一种新型的寻找资金圈的办法。该方法放弃sql思路，将所有转账数据构建为一张有向图，并利用pregel框架，分布式迭代遍历有向图中所有边，迭代遍历方向按照业务实际需求而定。该种方法可以解决sql思路下计算量过大，且由于数据倾斜普遍存在而导致的性能不佳的问题。

发明内容

针对现有技术存在的不足，本发明的目的在于提供一种基于Pregel的实现挖掘商业银行交易数据的资金圈分布的方法，其以解决上述背景技术中提出的问题。

为实现上述目的，本发明提供了如下技术方案：

一种基于Pregel的实现挖掘商业银行交易数据的资金圈分布的方法，其特征在于：包括如下步骤：

步骤1：以转账交易数据构建边，形成一个有向图，图中每一条边都是一个转账交易行为，边的表达形式如下：(a,b,attrs),整个有向图的数学形式为：[(srcId,srcAttr),(dstId,dstAttr),(attr)]；

其中a，b代表企业实体，attrs代表a和b转账行为的自有属性；

其中，srcId为a转账方节点id；

其中，srcAttr为a转账方节点自身属性；

其中，dstId为b转账方节点id；

其中，dstAttr为b转账方节点自身属性；

其中，attr为转账属性