[发明专利]数据异常检测方法和装置

说明书

本发明实施例提供一种数据异常检测方法和装置。所述方法包括：对各数据集按照属性进行去一划分，并根据划分后的数据集的信息熵计算各属性的权值；根据各属性的权值计算各数据集中不同数据对象间的余弦距离，并根据各数据对象与其他数据对象间的余弦距离计算各数据对象的初始异常值；对计算好所有数据对象的初始异常值的各数据集按照时序插入有序序列；根据序列中任一数据集的上一时刻和下一时刻的数据集的异常状态更新所述任一数据集的数据对象的初始异常值；对各数据集的数据进行检测，对异常值超过指定阈值的数据判断为异常。本发明实施例能够对区块链第三方存储介质上数据进行检测，具有较好的准确率和召回率。

技术领域

本发明涉及计算机数据管理技术领域，尤其涉及一种数据异常检测方法和装置。

背景技术

随着比特币的发展和普及，区块链技术的研究和应用呈现出爆发式的增长。区块链平台的交易性能很低，尚不能满足工业界大规模数据上链的需求，业界普遍的做法是将数据存在第三方存储介质上，然后将索引(指针)存储在链上，这种方案使得量大的数据也可以实现“上链”，这种思想已成为业界大规模数据上链的主流方式，并且已有相对成熟的存储介质星际文件系统IPFS(Inter-Planetary File System)等。

随着区块链技术的发展，越来越多的设备运维时序数据上链管理，与区块链第三方存储介质相关的异常检测逐渐被人重视。有关异常检测的算法也被广泛使用，现有的研究运用了各种各样的方法，如基于滑动时间窗口的检测方法和传统基于密度的时序数据异常检测，但上述两种方法对于区块链第三方存储介质上时序数据做在线异常检测有以下不足：(1)没有考虑数据不同属性对异常值的影响不同；(2)没有考虑区块链第三方存储介质上数据存储和访问的特性。因此，急需研究能对区块链第三方存储介质上时序数据在线做异常检测的高效算法。

发明内容

针对现有技术问题，本发明实施例提供一种数据异常检测方法和装置。

本发明实施例提供一种数据异常检测方法，应用于基于区块链的第三方数据存储介质，包括：并发获取区块链第三方存储介质上的数据，得到待检测数据块，每个数据块中的数据对象组成有时序的数据集，每个数据对象包括多个维度的属性信息；所述方法还包括：

对各数据集按照属性进行去一划分，并根据划分后的数据集的信息熵计算各属性的权值；

根据各属性的权值计算各数据集中不同数据对象间的余弦距离，并根据各数据对象与其他数据对象间的余弦距离计算各数据对象的初始异常值；

对计算好所有数据对象的初始异常值的各数据集按照时序插入有序序列；

根据序列中任一数据集的上一时刻和下一时刻的数据集的异常状态更新所述任一数据集的数据对象的初始异常值；

对各数据集的数据进行检测，对异常值超过指定阈值的数据判断为异常。

本发明实施例提供一种数据异常检测装置，应用于基于区块链的第三方数据存储介质，包括：获取单元，用于并发获取区块链第三方存储介质上的数据，得到待检测数据块，每个数据块中的数据对象组成有时序的数据集，每个数据对象包括多个维度的属性信息；所述装置还包括：

第一计算单元，用于对各数据集按照属性进行去一划分，并根据划分后的数据集的信息熵计算各属性的权值；

第二计算单元，用于根据各属性的权值计算各数据集中不同数据对象间的余弦距离，并根据各数据对象与其他数据对象间的余弦距离计算各数据对象的初始异常值；

排序单元，用于对计算好所有数据对象的初始异常值的各数据集按照时序插入有序序列；

第一更新单元，用于根据序列中任一数据集的上一时刻和下一时刻的数据集的异常状态更新所述任一数据集的数据对象的初始异常值；