[发明专利]执行神经网络模型的计算装置、方法及相关产品

说明书

本披露公开了一种执行神经网络模型的计算装置、利用计算装置执行神经网络模型的方法及相关产品。该计算装置可以包括在组合处理装置中，该组合处理装置还可以包括接口装置和其他处理装置。该计算装置与其他处理装置进行交互，共同完成用户指定的计算操作。组合处理装置还可以包括存储装置，该存储装置分别与计算装置和其他处理装置连接，用于存储该计算装置和其他处理装置的数据。本披露的方案利用多核架构来有效地融合神经网络输出层的运算，减少与外部存储电路的交互次数和输入输出数据量，从而提高机器的处理效率。

技术领域

本披露一般地涉及神经网络模型领域。更具体地，本披露涉及执行神经网络模型的计算装置、利用计算装置执行神经网络模型的方法、芯片和板卡。

背景技术

随着人工智能领域的高速发展，神经网络模型广泛用于语言建模，例如机器翻译和语音识别等。这些模型在考虑已生成部分序列的情况下计算单词的概率。

图1示出了神经网络语言模型的输出层的简化示意图。如图所示，这些单词的概率通常由投影层110(也称为全连接层，一般是一个大规模矩阵乘)投影到词典空间计算得到，随后经过Softmax层120和TopK层130的Softmax函数和TopK函数候选出出现概率最大的K个词。可以理解，在一些神经网络模型中，Softmax层和TopK层的处理顺序可以调换。此处以更为通用的先Softmax层再TopK层的场景为例。目前投影层的词典都比较大，单独计算投影层、Softmax和TopK都会带来巨大的访存开销。

随着硬件技术的发展，现代智能处理器多采用多核并行的框架。如何在多核并行框架中高效地解决大规模数据的TopK问题，有效地降低外部存储电路的访存开销，最大限度地提高数据的并行度，是目前神经网络语言模型急需解决的问题。

发明内容

为了至少部分地解决背景技术中提到的一个或多个技术问题，本披露实施例提供一种面向神经网络模型的输出层深度融合计算方法、装置及计算机可读存储介质。

在第一方面中，本披露公开一种执行神经网络模型的计算装置，所述计算装置包括多个处理核以及支持核间相互通信的片上网络，所述神经网络模型的输出层包括投影层、softmax层和TopK层，其中所述计算装置用于：从片外存储电路加载所述投影层的输入数据；在所述多个处理核上针对所述输入数据执行所述投影层、softmax层和TopK层的融合运算；利用所述片上网络对所述多个处理核的融合运算结果进行规约处理，以得到最终结果；以及向片外存储电路输出所述最终结果。

在第二方面中，本披露提供一种芯片，包括前述第一方面的计算装置。

在第三方面中，本披露提供一种板卡，包括前述第二方面的芯片。

在第四方面中，本披露提供一种利用前述第一方面的计算装置执行神经网络模型的计算方法。

通过如上所提供的面向神经网络模型的输出层深度融合计算方法、装置及计算机可读存储介质，本披露实施例能够高效融合投影层、Softmax层与TopK层，有效地降低外部存储电路的访存开销，极大地提高输出层，尤其是TopK层的计算效率。

附图说明

通过参考附图阅读下文的详细描述，本披露示例性实施方式的上述以及其他目的、特征和优点将变得易于理解。在附图中，以示例性而非限制性的方式示出了本披露的若干实施方式，并且相同或对应的标号表示相同或对应的部分，其中：

图1示出神经网络语言模型的输出层的简化示意图；

图2a示出本披露实施例的板卡的结构图；

图2b示出本披露实施例的组合处理装置的结构图；

图3示出本披露实施例的多核计算装置的内部结构示意图；

图4示例性示出CDMA的工作原理；