[发明专利]用于测试神经网络中算子精度的方法、装置和计算机可读存储介质

说明书

本披露公开了用于测试神经网络中算子精度的方法、测试装置和存储介质，其中该测试装置可以包括在组合处理装置中，该组合处理装置还可以包括通用互联接口和其他处理装置。所述测试装置与其他处理装置进行交互，共同完成用户指定的计算操作。组合处理装置还可以包括存储装置，该存储装置分别与设备和其他处理装置连接，用于该设备和其他处理装置的数据。本披露的方案可以对神经网络的算子精度进行有效的评估，从而确定神经网络整体网络的性能。

技术领域

本披露一般地涉及人工智能领域。更具体地，本披露涉及一种用于测试神经网络中算子精度的方法、装置和存储介质。

背景技术

近年来，得益于数据量的增多、计算能力的增强、学习算法的成熟以及应用场景的丰富，以机器学习和知识图谱为代表的人工智能技术逐渐愈发普及。特别是最近这几年，越来越多的人开始关注于以神经网络为主要模型的深度学习。深度学习不仅可以用来解决机器学习中的表示学习问题，还由于其强大的能力而越来越多地用来解决一些通用人工智能问题，比如推理或决策等。深度学习框架是整个深度学习生态体系中的第一层，其核心思想是将神经网络计算进一步拆分为各类常见的面向向量数据或矩阵数据的算子。

算子在神经网络中是一个函数空间到函数空间上的映射。广义上来讲，对任何函数进行某一项操作都可以认为是一个算子。简言之，算子可以是映射、关系或者变换。深度学习框架需要将神经网络映射的计算图结构所表达的深度学习任务具体化成可以在中央处理器(“CPU”)或者人工智能处理器执行的指令和数据。在这个过程中，深度学习框架采用算子作为落实计算任务的具体元素，为每个算子都提供了在CPU或者人工智能处理器上执行的核函数。根据计算图，深度学习框架调度执行计算图中每个算子对应的核函数，完成整个神经网络的计算。

由上述可知，在神经网络的计算过程中，算子的精度水平对神经网络的优劣起着重要的作用。在实际的神经网络各层的设计中，可以采用不同的硬件或者硬件平台来实现各层算子的计算，比如可以采用图像处理单元(“GPU”)、中央处理单元(“CPU”)、机器学习单元(“MLU”)、张量处理单元(“TPU”)或者现场可编程门阵列(“FPGA”)等硬件。对于神经网络中的卷积层和全连接层等的线性层，以及激活层和批归一化层等的非线性层的算子来说，当使用前述不同的硬件或硬件平台时可能会由于硬件的不同而导致算子精度水平的优劣，或者由于数据转换(例如数据类型的变换)而导致各种算子的输出会存在差异。对于这种差异的监测和度量可以判断目标算子的精度是否符合要求，进而对整个神经网络的设计进行评价。然而，目前现有技术中并没有针对这方面的测试方法或者装置。

发明内容

为了至少解决在上述背景技术部分所描述的问题，对神经网络的多个算子精度进行有效的评估，从而确定神经网络整体网络的效能，本披露提出如下的技术方案及其多个实施例。

在第一方面中，本披露提出了一种用于通过硬件平台测试神经网络中算子精度的方法，该方法包括利用测试数据对所述神经网络中的多个算子执行运算，以获得针对所述神经网络性能的基准结果，其中所述多个算子包括至少一个非目标算子和单个的目标算子。该方法还包括利用测试数据对所述非目标算子和目标算子执行区分的运算，以获得针对所述神经网络性能的测试结果；以及将所述基准结果与所述测试结果进行比较，以确定所述基准结果和所述测试结果之间的差异。该方法进一步包括根据评价标准对所述差异进行评价，以确定所述目标算子是否满足精度要求。

在第二方面中，本披露公开了一种用于测试神经网络中算子的精度的装置，包括：至少一个处理器；以及至少一个存储器，其用于存储程序指令，当所述程序指令由所述至少一个处理器加载并执行时，使得所述装置执行前述的方法。