[发明专利]一种基于大数据计算引擎的以太坊用户余额计算方法及系统

权利要求书

1.一种基于大数据计算引擎的以太坊用户余额计算方法，其特征在于，包括数据的获取、数据的转移和数据的计算工作；其中，

数据的获取工作为通过Open ethereum将公链数据获取到本地，同时经过数据的清洗，将数据划分为8个方向：分别为内部交易数据、外部交易数据、区块blocks相关信息、token描述性信息、token转移信息、以太坊触发事件的logs信息以及外部交易的补充信息；

数据的转移工作具体为：通过NIFI数据链路，将数据转移到大数据集群HDFS上的hive数据库中，作为离线数据计算的数据源，同时将数据通过NIFI的kafka的组件发送到相应数据表的kafka的topic中；

数据的计算工作包括离线数据计算和实时数据计算，离线数据计算通过读取大数据集群的hive表中数据得到相应的维度的数据计算结果最终输出，存放在相应的大数据集群HDFS的对应目录下；实时数据计算通过读取kafka中的8张维度表的数据，以及sparkstreaming的流式处理进行实时计算，最终结果存放在提前建立好的key value数据库hbase的相应数据表中。

2.根据权利要求1所述的基于大数据计算引擎的以太坊用户余额计算方法，其特征在于，数据的转移：

将数据采集与转储集群的本地公链数据和其他相关数据转发到大数据集群HDFS上并映射成hive表储存；将采集的公链数据发送至Kafka消息队列集群；

离线的数据读入算法库，通过读取hive数据库里结构化的数据，在算法库中将表数据映射成8种数据表。

3.根据权利要求1所述的基于大数据计算引擎的以太坊用户余额计算方法，其特征在于，具体包括以下步骤：

S1，将数据采集与转储集群的本地公链数据和其他相关数据转发到大数据集群HDFS上并映射成hive表储存；

S2，将采集的本地公链数据发送至Kafka消息队列集群，使用kafka进行算法库中的各个算法与数据源之间的解耦；

S3，离线的数据读入算法库，通过读取hive数据库中结构化的数据，在算法库中将表数据映射成8种数据表的基础实体类；8种数据表为blocks、traces、transactions、tokens、contracts、receipts、logs和token_transfers；

S4，开发交易记录的实体类，将每笔交易映射至实体类中，并构造每一批交易的统计学指标，所述统计学指标包括出度、入度、转出交易总量、转入交易总量、转出交易总次数、转入交易总次数以及交易方差；

S5，利用mapreduce以及spark大数据计算引擎进行以太坊用户余额计算；

S6，将以上所有的计算进行汇总，在集群中启动定时任务，将每个人每一天的余额数据写回到数据库hive中。