[发明专利]乘法电路、卷积运算方法、介质、片上系统和电子设备

说明书

本申请涉及一种乘法电路、卷积运算方法、介质、片上系统和电子设备。乘法电路包括：PE阵列、用于存储输入数据的第一缓存、用于存储多个第一卷积核的第二缓存，以及连接于PE阵列和第一缓存之间的开关电路；其中，在乘法电路执行扩张卷积运算时：开关电路用于根据第二卷积核中的扩张数据的排布，对输入数据中的第一待卷积数据进行选择输出，以将第一待卷积数据中的有效数据输出至PE阵列，其中有效数据为第一待卷积数据中不与第二卷积核中的扩张数据进行运算的数据，第二卷积核是在第一卷积核中加入扩张数据生成的；PE阵列用于从第二缓存获取多个第一卷积核，并采用第一卷积核对有效数据进行卷积运算。

技术领域

本申请涉及神经网络领域，特别涉及一种乘法电路、卷积运算方法、介质、片上系统和电子设备。

背景技术

近年来，随着人工智能(Artificial Intelligence，AI)技术的快速发展，支持AI的无人驾驶汽车、无人机、智能终端等的应用越来越广泛。AI通过神经网络技术，对各种传感器输入的数据进行实时处理，实现对外界环境的感知。通常为了提升AI应用终端的处理性能，会采用专用的硬件平台来实现特定的运算，例如将原本移植有卷积神经网络模型的AI应用终端中涉及的卷积运算通过专用的硬件平台来实现。

然而现有的一些专用的硬件平台通常只能实现特定类型的卷积运算，或者这些专用的硬件平台在实现特定类型的卷积运算时对应的计算效率高，而当这些专用的硬件平台在实现非特定类型的卷积运算时对应的计算效率低，例如，这些专用的硬件平台在执行标准卷积运算时的计算效率高，而执行扩张卷积运算时的计算效率低。因此，现有的一些专用的硬件平台的应用范围较窄，不利于产品的推广应用。

发明内容

本申请实施例提供了一种乘法电路、卷积运算方法、介质、片上系统和电子设备。

本申请的技术方案通过在乘法电路中部署开关电路和输入数据缓存，使得在不同的运算模式下，在每个运算周期，开关电路从输入数据缓存中存储的输入数据中选择部分数据作为目标数据，送给乘法电路中的目标运算单元进行卷积运算。其中，开关电路从输入数据缓存中选择的目标数据是按照预设间隔从输入数据中选取的。如此，使得本申请提供的乘法电路能够在执行扩张卷积运算时，无需将卷积核中填充多个零，并且参与卷积运算的输入数据均为能够对卷积运算结果有影响的数据，避免了乘法电路计算资源的浪费。此外，本申请提供的乘法电路在不同的应用场景下，实现不同的卷积运算时，无需调整输入/输出数据的格式。可以满足产品开发/设计人员对于同一个乘法电路能够在不改变输入/输出数据格式的情况下，能够适配不同的应用场景的需求。

第一方面，本申请实施例提供了一种用于卷积运算的乘法电路，包括：PE阵列、用于存储输入数据的第一缓存、用于存储多个第一卷积核的第二缓存，以及连接于PE阵列和第一缓存之间的开关电路；其中，在乘法电路执行扩张卷积运算时：开关电路用于根据第二卷积核中的扩张数据的排布，对输入数据中的第一待卷积数据进行选择输出，以将第一待卷积数据中的有效数据输出至PE阵列，其中有效数据为第一待卷积数据中不与第二卷积核中的扩张数据进行运算的数据，第二卷积核是在第一卷积核中加入扩张数据生成的；PE阵列用于从第二缓存获取多个第一卷积核，并采用第一卷积核对有效数据进行卷积运算。

其中，第一缓存还可以称作为输入数据缓存。第二缓存还可以称作为参数缓存。

在上述第一方面的一种可能的实现中，PE阵列包括多行PE，开关电路包括分别与PE阵列中每一行PE一一对应的多个子开关；

其中，在乘法电路执行扩张卷积运算时：

开关电路中的各个子开关分别用于根据第二卷积核中的扩张数据的排布，对输入数据中各个第一待卷积数据进行选择输出，以将第一待卷积数据中的有效数据输出至PE阵列中相应的一行PE，其中，输入数据中与不同子开关对应的第一待卷积数据不同；

PE阵列中的每一行PE用于从第二缓存获取多个第一卷积核，并采用第一卷积核对有效数据进行卷积运算。