[发明专利]一种基于区块链智能合约与机器学习的数据预处理方法

说明书

一种基于区块链智能合约与机器学习的数据预处理方法，通过区块链技术和机器学习技术协同完成在节点上的数据预处理。具体包括收集物联网数据，存储到本地节点之后将其标准化；在本地节点上创建机器学习算法文件，用于对物联网数据的预处理；将数据存入区块链；利用入链后的数据对学习算法进行训练，得到模型系数，并存储到本地节点；首先将机器学习算法表达式写入智能合约，然后将得到的模型系数通过调用智能合约存入区块链；利用上链后的模型对待处理数据进行处理；将处理后的数据存入区块链。该方法在区块链的智能合约中加入机器学习算法，利用机器学习提高区块链的数据挖掘能力。

技术领域

本发明属于区块链技术领域、数据分析技术领域、数据安全领域。

背景技术

近年来，人工智能的强势崛起，让人们深刻地领略到了人工智能技术的巨大潜力。数据是载体，智能是目标，而机器学习是从数据通往智能的技术、方法途径。数据本身是无意识的，它不能自动呈现出有用的信息。通俗地说，机器学习就是从数据中挖掘出有价值的信息。

自2016年互联网绑架病毒爆发之后，“比特币”开始逐渐进入大众的视野，当时大部分人对比特币的认识仅限于一种虚拟交易货币。此后的两年来，“比特币”与美元的比率日渐走高。与此同时，进入广大研究者和开发者视野的是其底层技术——“区块链”。有人比喻它是一种革命性的技术发展，更有人认为它是互联网之后又一个将改变世界、推动世界发展的新生事物。

区块链是一种透明化的不可篡改的分布式加密记账体系。作为“比特币”底层技术，区块链为比特币的交易转账等提供了十分安全可靠的保障。

传统的数据预处理方式缺乏安全性，其在对数据防护的安全层面上存在不足，在数据处理的过程中由于硬件故障、断电、死机、人为的误操作、程序缺陷、病毒或黑客等造成的数据库损坏或数据丢失现象，某些敏感或保密的数据可能不具备资格的人员或操作员阅读，而造成数据泄密等后果。

此外，传统的数据上传存储与处理方法依赖于中心化数据库，使核心数据库服务器负载较大，并且存在信任问题。

将区块链技术应用到数据预处理领域能够很好的解决数据安全的问题，但是由于区块链解决的更多是网络节点之间的信任问题，而非数据管理与分析的问题。比如利用区块链能够使数据具备可追溯性，从而实现对例如农产品的溯源，但是人们只能在数据正式上链之前将该农产品的各流程的数据进行可追溯的存储，而不能对已经存储的信息进行数据挖掘。由于区块链本身缺乏数据处理的能力，区块链所存储的数据价值无法被挖掘，存储至区块链中的数据质量也无法保证。

发明内容

本发明旨在将上述两种技术相结合形成一种新的基于区块链智能合约与机器学习的数据处理方法。用于解决区块链缺乏数据处理能力的问题。

为解决上述问题，本发明采用如下的技术方案：

实现方法架构如图1所示：首先采集物联网原始数据，将采集到的数据标准化，其次建立机器学习模型，然后搭建区块链私有链，将标准化后的数据上传到区块链，把区块链中的标准化数据传入机器学习，将训练完成的模型存储到本地。将机器学习训练好的模型通过智能合约上传到区块链节点。最后调用智能合约对待处理数据进行处理，这里的待处理数据即测试用标准化数据，将处理完成的数据存入区块链。

区块链智能合约的运行流程如图2所示，图2属于常规的运行流程，此处仅作为示例所用。

该方法包括以下步骤：

步骤1：通过传感器上传，智能设备收集等方式收集数据，将收集到的数据进行标准化处理，形成用于训练的训练数据与用于测试的测试数据并存入到本地节点，此时的数据为标准化数据，而且并没有存入区块链。

步骤2：在本地节点上创建机器学习算法文件，对于机器学习算法可以根据实际情况选择，可以为线性回归算法，k近邻算法，小波分析算法等，用于对数据的预处理；