[发明专利]深度学习softmax分类器的硬件实现电路及其控制方法

说明书

本公开提供一种深度学习softmax分类器的硬件实现电路及其控制方法。硬件实现电路(100)包括：接口数据读控制模块(110)，用于从外部存储器中读取计算数据给指数计算模块(120)；指数计算模块(120)，用于并行地进行浮点元素的指数运算；加法树模块(130)，用于进行指数计算模块(120)的运算结果的累加运算；缓存模块(140)，用于缓存指数计算模块(120)的运算结果以及加法树模块(130)的累加运算结果；除法计算模块(150)，用于并行地计算各个浮点元素的指数运算结果与所有浮点元素指数运算结果之和的比值；接口数据写控制模块(160)，用于将除法计算模块(150)的计算结果写入外部存储器。

技术领域

本发明涉及人工神经网络，更具体涉及深度学习softmax分类器的硬件实现电路及其控制方法。

背景技术

深度学习(Deep Learning)的概念源于人工神经网络(ANN)的研究，是机器学习中一种基于对数据进行表征学习的方法。含多隐层的多层感知器就是一种深度学习结构。深度学习通过组合底层特征形成更加抽象的高层表示属性类别或特征，以发现数据的分布式特征表示。

深度学习是机器学习研究中的一个新的领域，其动机在于建立、模拟人脑进行分析学习的神经网络，它模仿人脑的机制来解释数据，例如图像，声音和文本。

深度学习与传统神经网络有相同的地方也有很多不同。相同在于二者都采用相似的分层结构，系统包括输入层、隐层、输出层组成的多层网络，相邻层节点之间有连接，同层以及跨层节点之间相互无连接，每层可以看做是一个逻辑回归模型。这种分层结构是比较接近人类大脑的结构的。不同在于训练机制，传统神经网络采用的是反向传播的方式进行，简单来说就是采用迭代的算法来训练整个网络，随机设定初值，计算当前网络的输出，根据当前输出和标签值的差来改变前面各层的参数，直到收敛。而深度学习整体上是采用逐层训练，再进行整体调优的策略。

Softmax在深度学习中有非常广泛的应用，Logistic回归是处理二分类问题，而Softmax回归(Softmax Regression)主要是解决多分类问题。

Softmax是Logistc回归在多分类上的推广，即类标签y的取值大于等于2。假设有m个训练样本{(x⁽¹⁾,y⁽¹⁾),(x⁽²⁾,y⁽²⁾),………(x^(m),y^(m))}，在对Softmax回归，其输入特征为：类标记为：y⁽ⁱ⁾∈{0,1,………k}。假设函数为对于每一个样本估值其所属的类别的概率P(y＝j|x)，具体的假设函数为：

其中θ表示向量则对于每一个样本估计其所属的类别的概率为：

发明内容

本发明的目的在于提供一种深度学习softmax分类器的硬件实现电路及其控制方法。

根据本发明的第一方面，提供一种softmax分类器的硬件实现电路，该硬件实现电路可以包括：接口数据读控制模块，用于从外部存储器中读取计算数据给指数计算模块；指数计算模块，用于并行地进行浮点元素的指数运算；加法树模块，用于进行指数计算模块的运算结果的累加运算；缓存模块，用于缓存指数计算模块的运算结果以及加法树模块的累加运算结果；除法计算模块，用于并行地计算各个浮点元素的指数运算结果与所有浮点元素指数运算结果之和的比值；接口数据写控制模块，用于将除法计算模块的计算结果写入外部存储器中。

在根据本发明第一方面的硬件实现电路中，所述指数计算模块和所述除法计算模块的计算并行度可以取决于模块接口的数据带宽，如下公式所示：

IO_data_width×IO_freq＝Calc_num×Calc_data_width×Calc_freq，