[发明专利]一种嵌入式人工智能计算框架及应用方法

权利要求书

1.一种嵌入式人工智能计算框架，其特征在于，包括：

第一接口层，为外部接口，提供前端接口或用户开发接口，用于为应用服务提供统一调用接口；

智能层，与所述第一接口层相接，提供用于构建智能模型以及将构建的智能模型进行训练和推理的接口和核心模块；

第二接口层，为内部接口，与所述智能层相接，用于为计算任务提供调用硬件层进行数据计算的接口；

硬件层，与所述第二接口层相接，用于对所述智能层所涉及的数据通过系统提供的硬件进行计算。

2.根据权利要求1所述的嵌入式人工智能计算框架，其特征在于，所述第一接口层包括C++编程语言接口和Python编程语言接口。

3.根据权利要求1所述的嵌入式人工智能计算框架，其特征在于，所述智能层包括网络层、核心模块以及底层数据计算接口，其中：

网络层，用于构建智能模型，包括智能模型的具体层，所述具体层对应神经网络的网络层结构；

核心模块，与所述网络层相接，包括构建智能模型的类，用于对所述智能模型构建、训练和推理所涉及的功能的定义，所述定义包括对应网络层接口定义、网络参数接口定义以及优化器接口定义，所述网络层的每一个具体层均由核心模块的一个类进行实现；

底层数据计算接口，分别与所述网络层与所述第二接口层连接，用于定义所述网络层所用到的数据计算的算子库。

4.根据权利要求1所述的嵌入式人工智能计算框架，其特征在于，所述第二接口层包括开放运算语言接口和标准C/C++实现接口，通过调用所述开发运算语言接口使用硬件层的GPU进行数据计算，通过所述标准C/C++实现接口调用硬件层的CPU进行数据计算。

5.一种基于权利要求1-4任一项所述的嵌入式人工智能计算框架的应用方法，其特征在于，包括：

利用所述嵌入式人工智能计算框架构建智能模型；

通过预设模型配置文件，定义网络模型的结构及参数，并通过读取所述预设模型配置文件，能够对所述智能模型进行训练；

经过训练后的所述智能模型对输入的测试数据进行推理，输出所述智能模型的推理结果。

6.根据权利要求5所述的嵌入式人工智能计算框架的应用方法，其特征在于，所述利用所述嵌入式人工智能计算框架构建智能模型，包括：

根据参数配置文件中对网络结构的描述，使用网络层类型注册模块逐层构造出对应的神经网络模型的网络结构中包含的网络层对象；

将构造出的网络层对象按照定义顺序放入向量结构，并发起对所述智能模型的可学习参数的随机初始化操作、由前向推理与反向求梯度组成的训练优化操作。

7.根据权利要求5所述的嵌入式人工智能计算框架的应用方法，其特征在于，所述输入可学习参数对所述智能模型进行训练，包括：

从网络结构包含的每个具体层对象中提取出可学习参数对象，通过随机数生成方法对所述可学习参数进行初始化操作；

根据设定学习率、动量值、权重衰减值和从外部接口出入的参数梯度值对所述智能模型中可学习参数进行基于随机梯度下降的更新操作，以完成对所述可学习参数的训练。

8.根据权利要求5所述的嵌入式人工智能计算框架的应用方法，其特征在于，所述输入可学习参数对所述智能模型进行训练，包括：

在训练过程中，调用所述第二接口层的开发运算语言接口使用硬件层的GPU对所述智能模型需要计算的数据进行计算。

9.根据权利要求5所述的嵌入式人工智能计算框架的应用方法，其特征在于，所述经过训练后的所述智能模型对输入的测试数据进行推理，输出所述智能模型的推理结果，包括：

加载网络定义文件，实现网络对象的生成和智能模型的内存分配；

通过Net类加载预训练的模型文件，按照层对象名称将参数读入网络层对象；

由Net类调用Forward接口发起前向推理计算，输出对应数据的预测结果，以得到所述智能模型的推理结果。

10.一种电子设备，包括存储器、处理器及存储在所述存储器上并可在所述处理器上运行的计算机程序，其特征在于，所述处理器执行所述程序时实现如权利要求5所述嵌入式人工智能计算框架的应用方法的步骤。