[发明专利]一种神经网络芯片的优化方法、系统、设备和存储介质

说明书

本发明实施例公开了一种神经网络芯片的优化方法、系统、设备和存储介质。该方法包括：获取预设的神经网络模型；将所述神经网络模型编译为第一中间表达，所述第一中间表达包括一个或多个第一计算单元；根据所述一个或多个第一计算单元在神经网络芯片的运行时间确定所述第一中间表达在所述神经网络芯片的运行总时间；根据所述运行总时间对所述神经网络芯片的芯片参数进行调整以优化所述神经网络芯片。本发明实施例实现了优化神经网络芯片，以使其与针对某个应用场景的神经网络模型具有高契合度。

技术领域

本发明实施例涉及神经网络技术，尤其涉及一种神经网络芯片的优化方法、系统、设备和存储介质。

背景技术

近年来随着神经网络的兴起，专用于神经网络的AI(ArtificialIntelligence，人工智能)芯片也呈现出百家争鸣的盛况，每一款芯片的诞生都凝聚着研究人员日以继夜的努力。

目前人工智能芯片按功能类别可分为训练和推理，且当前的发展现状以训练为主。但是因为神经网络的应用不断下沉落地，对推理芯片的需求逐渐上升。推理芯片应用场景有云端、终端场景，云端场景对芯片的功耗以及性能上都没有苛刻的要求，但是终端场景因为面对如自动驾驶、安防领域等需要实时响应，芯片功耗低等因素，催生出了根据场景定制化的推理芯片。

然而当前的AI定制化芯片如何做到和应用场景深度结合还是一个难题，目前的定制化AI芯片做法基本上是使用硬件加速某些算子，让应用场景来适应AI芯片。但实际上通常是先有一个应用场景，根据这一应用场景实现了一个神经网络模型，然后这个神经网络模型需要一款能够实现极致性能的AI芯片。但当前定制化AI芯片只是针对某个算法进行硬件加速，脱离了实际应用场景，且模型与定制化AI芯片的契合性不高，虽然比通用性芯片有提高，但是无法发挥出芯片的全部潜力。

发明内容

本发明实施例提供一种神经网络芯片的优化方法、系统、设备和存储介质，以实现优化神经网络芯片，以使其与针对某个应用场景的神经网络模型具有高契合度。

为达此目的，本发明实施例提供了一种神经网络芯片的优化方法，该方法包括：

获取预设的神经网络模型；

将所述神经网络模型编译为第一中间表达，所述第一中间表达包括一个或多个第一计算单元；

根据所述一个或多个第一计算单元在神经网络芯片的运行时间确定所述第一中间表达在所述神经网络芯片的运行总时间；

根据所述运行总时间对所述神经网络芯片的芯片参数进行调整以优化所述神经网络芯片。

进一步的，所述将所述神经网络模型编译为第一中间表达包括：

将所述神经网络模型转换为基于指令集架构的第二中间表达；

将所述第二中间表达转换为基于数据流架构第一中间表达。

进一步的，所述将所述第二中间表达转换为基于数据流架构第一中间表达包括：

解析所述第二中间表达以得到一个或多个第二计算单元；

基于预设的数据流架构将所述一个或多个第二计算单元匹配映射为一个或多个第一计算单元；

根据所述一个或多个第一计算单元得到基于数据流架构第一中间表达。

进一步的，所述将所述神经网络模型编译为第一中间表达之后包括：

基于神经网络芯片的芯片参数对所述第一中间表达进行优化。

进一步的，所述基于神经网络芯片的芯片参数对所述第一中间表达进行优化包括：

根据所述神经网络芯片的芯片参数确定所述神经网络芯片的计算顺序；