[发明专利]一种适用于移动终端的二值神经网络前向传播框架

说明书

本发明涉及一种适用于移动终端的二值神经网络前向传播框架，包括模型转换模块和前向传播模块；前向传播模型包括数据储存单元、运算单元和优化单元；数据储存单元使用个数、高、宽、通道数的数据布局方式存储数据并对数据进行压缩；运算单元为GPU的计算单元，将二值化神经网络的操作层进行合并；优化单元在运算单元中平衡线程读写数据量与计算量。相比于传统的神经网络框架，提供了在手机上进行前向传播的方案，减少了存储占用，提高了运算速度，利用GPU提高了二值神经网络在手机上运行的能耗比，可以在移动终端上高效运行二值神经网络。

技术领域

本发明涉及神经网络框架领域，更具体地，涉及一种适用于移动终端的二值神经网络前向传播框架。

背景技术

人工神经网络(Artificial Neural Networks，简写为ANNs)也简称为神经网络(NNs)或称作连接模型(Connection Model)，它是一种模仿动物神经网络行为特征，进行分布式并行信息处理的算法数学模型。这种网络依靠系统的复杂程度，通过调整内部大量节点之间相互连接的关系，从而达到处理信息的目的。

在应用一个人工神经网络时，一般来说都分为4个步骤：1.根据需求训练相应神经网络；2.对训练好的神经网络进行调整和优化，得到合适部署的模型；3.在目标设备上加载模型进行前向传播，得到神经网络的计算结果；4.神经网络计算结果结合部分算法，得到整体最终结果。在传统人工神经网络中，通常使用全精度(32bit)的浮点数保存权重和进行计算，虽然可以保证较高精度，但是在手机等性能和功率有限的移动设备上。

现有的人工神经网络前向传播框架有TensorFlow、Caffe和MXNet。但是这些框架不支持在移动终端使用GPU进行人工神经网络的前向推理，只支持传统的电脑和服务器通过GPU进行人工网络的前向推理，而在移动终端上使用CPU进行传统的浮点人工神经网络前向传播的计算效率低、能耗大、速度慢。

发明内容

本发明为克服上述现有技术中移动终端只使用CPU进行人工神经网络前向推理导致计算效率低、能耗大和速度慢的问题，提供一种适用于移动终端的二值神经网络前向传播框架，该框架在移动终端的GPU中运行并通过计算优化，提高计算效率、降低能耗和增加速度。

为解决上述技术问题，本发明采用的技术方案是：一种适用于移动终端的二值神经网络前向传播框架，包括模型转换模块和前向传播模块；所述模型转换模块用于将训练好的二值神经网络转换为本框架专用的模型，在转化过程中进行数据的处理和预计算；所述前向传播用于对转换后的二值神经网络模型进行前向传播计算；

所述前向传播模型包括数据储存单元、运算单元和优化单元；

所述数据储存单元使用个数、高、宽、通道数的数据布局方式存储数据并对数据进行压缩；节约大量的存储空间。

所述运算单元为GPU的计算单元，将二值化神经网络的操作层进行合并；节省数据I/O时间；

所述优化单元在运算单元中平衡线程读写数据量与计算量。

优选的，转换后的二值神经网络模型按照由粗到细的粒度表示成:网络，层，张量；在框架中，网络被分为一个一个的层结构，每一个层中拥有相应的参数，框架中的数据都被存储在张量中。网络框架使用自己的GPU内存管理与回收系统，在第一次前向传播时分配每一步所需要的内存资源，并在层的层面使用指针进行管理和分配，在第二次及以后的前向传播过程中重复使用无需分配。

由于本框架使用NHWC(个数、高、宽、通道数)的数据布局方式存储数据，用表示一个张量，其中H，W，C分别表示张量的高，宽，通道，并且有h，w，c使得h∈[0，H)，w∈[0，W)，c∈[0，C)。张量的数据块被存储在受框架管理的块内存中，并且按照行优先进行数据存储，也就是说，访问t_h，w，c可以使用公式(h×W+w)×C+c进行寻址访问。