[发明专利]一种算子确定、运行方法及装置

说明书

本发明提供了一种算子确定、运行方法及装置，涉及人工智能技术领域，包括：获取神经网络中待搜索运算对应的第一搜索空间，所述第一搜索空间包括多个算子；运行所述第一搜索空间的所述多个算子，当所述多个算子中的第一算子调用目标运算时，搜索所述目标运算对应的第二搜索空间；以及根据所述多个算子的运行参数，从所述多个算子中确定所述待搜索运算对应的目标算子。本发明通过对算子搜索空间进行动态剪枝，还通过深度优先遍历的方式对算子及其依赖的运算进行递归搜索，并设计去重机制规避冗余搜索，使得搜索时间和计算资源消耗大大降低。

技术领域

本发明涉及人工智能技术领域，具体而言，涉及一种算子确定、运行方法及装置。

背景技术

近年来，随着神经网络爆发式的研究和发展，其强大的特征提取和拟合能力使其在图像识别、自然语言处理、语音识别等领域得到了广泛的应用。为了提高神经网络模型的性能，研究人员普遍会设计更深和更复杂的网络，使得模型的参数量和计算量大大增加，导致对硬件资源(例如CPU、内存、带宽)的要求也越来越高，成本十分昂贵。同时，将如此复杂的神经网络直接部署在计算能力和续航能力有限移动设备上(例如手机、无人机、机器人、智能眼镜)也具有很大的难度，限制了其更广泛的应用。因此，研究人员也考虑从加快网络的计算速度方面入手来提高神经网络模型的性能。

现有的神经网络一般由各个运算(Operation)组成，其中最常用的运算有例如卷积(Convolution)运算和矩阵乘法(Matrix Multiplication)运算等。因为含有巨大的计算量，卷积和矩阵乘法的运行速度对神经网络的训练和推理性能具有决定性的影响。为了充分利用各个计算平台的体系结构特征以获得较为优秀的加速效果，在工程实践中卷积和矩阵乘法运算往往又被细分为各个算子。不同算子面向的场景不同，在不同运行配置下的性能也各异，而且不同运算的算子之间可能存在相互依赖。且为了迎合神经网络对算力的需求，近年来不仅传统计算平台例如CPU、GPU等开始加快更新迭代的速度，而且新型嵌入式神经网络处理器(NPU)也逐渐兴起，神经网络要适配的平台日趋复杂化。对于给定神经网络模型和运行环境，如何从诸多算子中选择性能优秀的算子成为难点。

发明内容

本发明旨在至少在一定程度上解决相关技术中的技术问题，为达上述目的，第一方面，本发明提供了一种算子确定方法，其包括：

获取神经网络中待搜索运算对应的第一搜索空间，所述第一搜索空间包括多个算子；

运行所述第一搜索空间的所述多个算子，当所述多个算子中的第一算子调用目标运算时，搜索所述目标运算对应的第二搜索空间；以及

根据所述多个算子的运行参数，从所述多个算子中确定所述待搜索运算对应的目标算子。

为达上述目的，第二方面，本发明提供了一种算子确定装置，其包括：

获取模块，用于获取神经网络中待搜索运算对应的第一搜索空间，所述第一搜索空间包括多个算子；

搜索模块，用于运行所述第一搜索空间的所述多个算子，当所述多个算子中的第一算子调用目标运算时，搜索所述目标运算对应的第二搜索空间；

确定模块，用于根据所述多个算子的运行参数，从所述多个算子中确定所述待搜索运算对应的目标算子。

使用本发明的算子确定方法或装置，通过获取待搜索运算在目标平台运行的所有算子作为第一搜索空间，运行第一搜索空间中的多个算子，并确定其对应的运行参数，并根据运行参数找到性能最优的目标算子。并通过递归搜索确定第一算子所依赖的目标运算，通过深度优先遍历等方式对算子及其依赖的运算进行递归搜索，确保当算子调用目标运算时，其依赖的运算也会选到目标算子，并设计去重机制规避冗余搜索，进一步减少搜索耗时和计算资源开销。本发明还考虑了当模型需要部署在多个平台时，如何提供统一的使用接口，将平台细节隐藏起来，提供给用户统一的表示，对于神经网络模型的部署场景具有很强的实用性。