[发明专利]神经网络的编译方法、系统、计算机存储介质及编译设备

说明书

本发明提供一种神经网络的编译方法、系统、计算机存储介质及编译设备，所述神经网络的编译方法包括：将网络文件翻译为中间表达文件；从性能分析、单节点以及多节点协同角度对所述中间表达文件进行优化；将优化后的中间表达文件生成基于硬件接口的网络模版文件；将所述网络模版文件编译为可执行推理应用。本发明旨在设计并实现一个能够自动根据软硬件信息调节参数、生成代码的编译工具链框架、中间表示以及相应优化算法，使之在目标芯片上计算时，在不改变网络输出结果的同时，在较短的优化时间内获得更高的计算速率、更小的计算时延。且方便用户自行调试、调参。

技术领域

本发明属于神经网络技术领域，涉及一种编译方法，特别是涉及一种神经网络的编译方 法、系统、计算机存储介质及编译设备。

背景技术

如今神经网络的发展极大的推动了机器学习和人工智能及其相关产业的发展，例如人脸 识别、语音识别、在线翻译、自动驾驶等等技术。然而由于神经网络拥有庞大的网络结构和 计算量，延迟大是影响其大规模投入工业生产的主要障碍。因此，如何减小运算时延、提高 神经网络的计算速度，是发展神经网络的一个重要问题。

现有的大多数神经网络编译、优化工具在编译时，采用接收用户提供的网络文件，直接 生成可执行的推理会话的方式，供Python，C++等语言调用。在进行优化时，主要根据预先 制定的针对不同目标硬件以及不同算子的规则，进行前端(算子级优化，包括算子融合，公 共子表达式替换等)与后端(硬件相关优化，如循环展开，向量化等)优化。

现有工具封装度较高，开放给用户的接口有限，造成调试、调参的不便。且优化过程、 详细算法对用户不可见，无法支持用户做进一步优化。其次，现有优化算法灵活性较差，基 于规则的方法导致在前端优化中丢失较大优化空间，且后端针对不同硬件优化可迁移性较差， 需要较多人类专家的介入。

因此，如何提供一种神经网络的编译方法、系统、计算机存储介质及编译设备，以解决 现有技术封装度较高，开放给用户的接口有限，造成调试、调参的不便、优化过程、详细算 法对用户不可见，无法支持用户做进一步优化，优化算法灵活性较差，基于规则的方法导致 在前端优化中丢失较大优化空间，且后端针对不同硬件优化可迁移性较差，需要较多人类专 家的介入等缺陷，实已成为本领域技术人员亟待解决的技术问题。

发明内容

鉴于以上所述现有技术的缺点，本发明的目的在于提供一种神经网络的编译方法、系统、 计算机存储介质及编译设备，用于解决现有技术封装度较高，开放给用户的接口有限，造成 调试、调参的不便、优化过程、详细算法对用户不可见，无法支持用户做进一步优化，优化 算法灵活性较差，基于规则的方法导致在前端优化中丢失较大优化空间，且后端针对不同硬 件优化可迁移性较差，需要较多人类专家的介入的问题。

为实现上述目的及其他相关目的，本发明一方面提供一种神经网络的编译方法，包括：将 网络文件翻译为中间表达文件；从性能分析、单节点以及多节点协同角度对所述中间表达文 件进行优化；将优化后的中间表达文件生成基于硬件接口的网络模版文件；将所述网络模版 文件编译为可执行推理应用。

于本发明的一实施例中，所述网络文件包括结构和参数；所述中间表达文件包括抽象层、 抽象层的描述及主要域；所述抽象层包括模型、算子集、融合块、基本层及操作算子；所述 模型的描述包括描述完整模型执行流；所述算子集的描述包括指定算子集版本；所述融合块 的描述包括多个基本层融合而成的块；所述基本层的描述包括代表网络中一个算子的基本层； 所述操作算子的描述包括算子的详细描述；所述模型的主要域包括一组融合快，其中间表示 版本；所述算子集的主要域包括版本及包含的算子列表；所述融合块的主要域包括一组层， 及层的输入及输出；所述基本层的主要域包括算子、输入、输出、并行度；所述算子的主要 域包括算子类型及算子属性。

于本发明的一实施例中，从性能分析角度对所述中间表达文件进行优化的步骤包括：采 用基于性能测试的方式刻画性能，生成系列参数各异的测量性能，并获取影响算子性能的影 响参数，利用所述影响参数构建数学模型以刻画性能。