[发明专利]一种基于HXAI100芯片的推理模型在线切换系统及方法

说明书

本发明公开了一种基于HXAI100芯片的推理模型在线切换系统及方法，系统包括上位机指令发送单元、芯片解析单元；所述上位机指令发送单元，用于生成切换指令，并将切换指令发送至所述芯片解析单元；所述芯片解析单元，用于解析所述上位机指令发送单元发送来的切换指令，根据解析结果驱动HXAI100芯片推理对应不同应用场景的网络模型。本发明可以根据应用场景需求的不同，选择切换执行相对应场景下的网络模型，有针对性地识别不同场景下的目标和同一场景下的不同目标，大大提高AI芯片的运行效率和目标识别的准确度。

技术领域

本发明涉及神经网络模型推理技术领域，尤其是一种基于HXAI100芯片的推理模型在线切换系统及方法。

背景技术

随着国产AI芯片技术快速发展，面对不同的复杂应用场景，国产AI芯片上集成的应用功能也在快速增加，这也意味着国产AI芯片必须在一个工程中识别不同场景下的目标和同一场景下的不同目标，这样神经网络模型体积会不断增大，进而导致AI芯片在进行大体量神经网络模型推理过程中不仅运行效率大大降低，而且准确度也会有很大损失。

发明内容

针对上述技术问题，本发明提出一种基于HXAI100芯片的推理模型在线切换系统及方法。

本发明保护一种基于HXAI100芯片的推理模型在线切换系统，包括上位机指令发送单元、芯片解析单元；

所述上位机指令发送单元，用于生成切换指令，并将切换指令发送至所述芯片解析单元；

所述芯片解析单元，用于解析所述上位机指令发送单元发送来的切换指令，根据解析结果驱动HXAI100芯片推理对应不同应用场景的网络模型。

进一步的，基于HXAI100芯片的推理模型在线切换系统还包括状态位显示单元，用于接收所述芯片解析单元的执行结果，根据执行结果进行状态显示，从而呈现切换结果和推理结果；所述状态位显示单元优选为联排设置的LED。

本发明还保护一种基于HXAI100芯片的推理模型在线切换方法，基于上述推理模型在线切换系统，具体包括以下步骤：

步骤1，根据具体应用场景的网络模型需求，向上位机提出模型切换请求，上位机指令发送单元生成切换指令，并将切换指令通过GPIO驱动接口发送至芯片解析单元；步骤2，芯片解析单元解析上位机指令发送单元发送来的切换指令，根据解析结果驱动HXAI100芯片推理对应不同应用场景的网络模型，并将切换结果和推理结果发送到状态显示单元；

步骤3，状态显示单元通过不同的闪灯方式呈现当前的切换结果和推理结果。

本发明可以根据应用场景需求的不同，选择切换执行相对应场景下的网络模型，有针对性地识别不同场景下的目标和同一场景下的不同目标，大大提高AI芯片的运行效率和目标识别的准确度。

附图说明

图1为基于HXAI100芯片的推理模型在线切换系统的结构框图。

具体实施方式

下面结合附图和具体实施方式对本发明作进一步详细的说明。本发明的实施例是为了示例和描述起见而给出的，而并不是无遗漏的或者将本发明限于所公开的形式。很多修改和变化对于本领域的普通技术人员而言是显而易见的。选择和描述实施例是为了更好说明本发明的原理和实际应用，并且使本领域的普通技术人员能够理解本发明从而设计适于特定用途的带有各种修改的各种实施例。

实施例1

一种基于HXAI100芯片的推理模型在线切换系统，如图1所示，包括上位机指令发送单元、芯片解析单元；所述上位机指令发送单元，用于生成切换指令，并将切换指令发送至所述芯片解析单元；所述芯片解析单元，用于解析所述上位机指令发送单元发送来的切换指令，根据解析结果驱动HXAI100芯片推理对应不同应用场景的网络模型。