[发明专利]一种基于大数据计算引擎的以太坊用户余额计算方法及系统

说明书

本发明公开一种基于大数据计算引擎的以太坊用户余额计算方法及系统，本发明涉及大数据实时计算、大数据离线计算、分布式存储技术领域，具体涉及基于open ethereum的数据获取以及处理和基于mapreduce，spark，sparkstreaming的数据分析方法。所述方法包括：通过open ethereum将链上数据同步到本地，再通过nifi管道将采集到的数据发送到kafka储存到关系型数据库hive中，然后使用spark和mapreduce的离线数据计算，以及通过sparkstreaming的实时数据流计算筛选如智能合约地址，最终存以及非关系型数据库Hbase中。本发明的实时以及离线大数据计算手段配合以太坊数据可以得到以太坊用户的余额计算结果，从而能够更好的对以太坊进行分析研究。

技术领域

本发明涉及大数据离线与实时计算技术，具体涉及一种基于大数据计算引擎的以太坊用户余额计算方法及系统。

背景技术

随着新一轮技术的变革以及社会经济的发展，区块链技术作为一种新兴的技术，通过集成多种技术，包括共识机制，加密算法以及分布式数据存储和点对点传输机制等，保证了交易数据的去中心化存储以及不可篡改性，从而营造了一种可信赖的交易环境。

作为一个开放的公有链平台，以太坊通过支持去中心化的以太坊虚拟机来实现智

能合约功能，然后通过智能合约功能来处理点对点的交易。以太坊智能合约被广泛应用于许多领域，例如金融服务、基础设施、物联网和医疗保健等，这使得区块链技术的产业应用价值逐渐明确。

本发明利用大数据计算模型mapreduce以及spark，目前这是处理大规模数据最好的并行计算模型和方法，它是基于集群的高性能并行计算平台，允许用市场上普通的商用服务器构成一个包含数十、数百至数千个节点的分布和并行计算集群，并且它提供了一个庞大但设计精良的并行计算软件框架，能自动完成计算任务的并行化处理，自动划分计算数据和计算任务，在集群节点上自动分配和执行任务以及收集计算结果，将数据分布存储、数据通信、容错处理等并行计算涉及到的很多系统底层的复杂细节交由系统负责处理，大大减少了软件开发人员的负担。

在当前的以太坊数据分析中，存在如下问题：

1.以太坊数据分析的可以得到的相关数据太少，相关数据质量偏低。

2.在计算以太坊用户余额时，没有一个逻辑清晰的以太坊余额计算流程，数据计算的准确性存疑。

发明内容

针对上述现有存在的不足和问题，本发明所要解决的技术问题是：如何提供一种基于以太坊数据的离线和实时用户余额计算方法，以能够有效使得用户余额计算的效率提升并且有益于进行以太坊用户的数据分析。

为了达到上述目的，本发明采用以下技术方案：一种基于大数据计算引擎的以太坊用户余额计算方法，包括数据的获取、数据的转移和数据的计算工作；其中，

数据的获取工作为通过Open ethereum将公链数据获取到本地，同时经过数据的清洗，将数据划分为8个方向：分别为内部交易数据、外部交易数据、区块blocks相关信息、token描述性信息、token转移信息、以太坊触发事件的logs信息以及外部交易的补充信息；

数据的转移工作具体为：通过NIFI数据链路，将数据转移到大数据集群HDFS上的hive数据库中，作为离线数据计算的数据源，同时将数据通过NIFI的kafka的组件发送到相应数据表的kafka的topic中；

数据的计算工作包括离线数据计算和实时数据计算，离线数据计算通过读取大数据集群的hive表中数据得到相应的维度的数据计算结果最终输出，存放在相应的大数据集群HDFS的对应目录下；实时数据计算通过读取kafka中的8张维度表的数据，以及sparkstreaming的流式处理进行实时计算，最终结果存放在提前建立好的key value数据库hbase的相应数据表中。

数据的转移：