[发明专利]一种基于小波变换减少IO开销的神经网络处理系统

说明书

本公开提供了一种基于小波变换减少IO开销的神经网络处理系统，其中，所述基于小波变换的神经网络处理系统，包括：片下压缩单元，用于对片下数据进行压缩并发送至片上；以及片上计算装置，与所述片下压缩单元连接，用于接收所述压缩并发送至片上的数据，执行神经网络运算；其中，所述压缩单元基于小波变换对所述片下数据进行压缩。本公开神经网络处理系统，通过在加载与存储数据时进行数据压缩，减少了IO量，降低了时间与能量开销。

技术领域

本公开属于计算机技术领域，更具体地涉及一种基于小波变换的神经网络处理系统及方法。

背景技术

人工神经网络(Artificial Neural Networks，ANNs)简称为神经网络 (NeuralNetworks，NNs)。它是一种模仿动物神经网络行为特征，进行分布式并行信息处理的算法数学模型。这种网络依靠系统的复杂程度，通过调整内部大量节点之间的相互连接关系，从而达到处理信息的目的。深度学习(deep learning)的概念源于人工神经网络的研究。含多隐层的多层感知器就是一种深度学习结构。深度学习通过组合低层特征形成更加抽象的高层表示属性类别或特征，以发现数据的分布式特征表示。

目前的各种神经网络片上计算装置，往往面临访存瓶颈的问题，加载与存储数据造成了很大的时间与能量开销。

发明内容

(一)要解决的技术问题

基于以上问题，本公开的目的在于提出一种基于小波变换的神经网络处理系统及方法，用于解决以上技术问题的至少之一。

(二)技术方案

为了达到上述目的，作为本公开的一个方面，提供一种基于小波变换的神经网络处理系统，包括：

片下压缩单元，用于对片下数据进行压缩并发送至片上；以及

片上计算装置，与所述片下压缩单元连接，用于接收所述压缩并发送至片上的数据，执行神经网络运算；

其中，所述压缩单元基于小波变换对所述片下数据进行压缩。

在一些实施例中，所述的神经网络处理系统，还包括：

片上解压缩单元，设于所述片上计算装置内，用于对经所述片下压缩单元压缩并发送至片上的数据进行解压缩；

片上压缩单元，设于所述片上计算装置内，用于对片上数据进行压缩并发送至片下；以及

片下解压缩单元，设于所述片上计算装置外，用于对经所述片上压缩单元压缩并发送至片下的数据进行解压缩。

在一些实施例中，通过PCIe总线、DMA、无线网络实现所述数据在片上与片下之间传输。

在一些实施例中，所述压缩单元及解压缩单元利用小波基函数对数据进行小波变换，所述小波基函数包括哈尔基函数、Daubechies小波基函数、 Biorthogonal小波基函数、Mexican Hat小波基函数、Coiflets小波基函数、 Symlets小波基函数、Morlet小波基函数、Meyer小波基函数、Gaus小波基函数、Dmeyer小波基函数、ReverseBior小波基函数。

在一些实施例中，利用所述小波基函数通过阈值法、截取法、舍高频和取低频法对数据进行压缩。

在一些实施例中，所述小波变换为一维的小波变换或二维的小波变换。

在一些实施例中，利用所述压缩单元进行压缩的数据及利用所述解压缩单元进行解压缩的数据包括神经网络中的神经元数据和权值数据。

在一些实施例中，所述片上计算装置还包括：存储单元、指令控制单元以及运算单元；其中，

所述存储单元用于存储运算指令以及经所述片下压缩单元压缩后的数据；