[发明专利]一种嵌入式人工智能计算框架及应用方法

说明书

本发明提供一种嵌入式人工智能计算框架及应用方法，属于计算机和人工智能技术领域，所述计算框架包括第一接口层，为外部接口，提供前端接口或用户开发接口，用于为应用服务提供统一调用接口；智能层，与所述第一接口层相接，提供用于构建智能模型以及将构建的智能模型进行训练和推理的接口和核心模块；第二接口层，为内部接口，与所述智能层相接，用于为计算任务提供调用硬件层进行数据计算的接口；硬件层，与所述第二接口层相接，用于对所述智能层所涉及的数据通过系统提供的硬件进行计算。本发明提供所述嵌入式人工智能计算框架，解决现有技术中开源框架面临的第三方依赖严重、版本难以控制、代码无法自主可控等问题。

技术领域

本发明涉及计算机和人工智能技术领域，尤其涉及一种嵌入式人工智能计算框架及应用方法。

背景技术

人工智能算法在各个领域的广泛应用带来了各种智能计算框架技术的快速发展，无论是学术界还是工业界都推出了相应的智能计算框架，支持的硬件架构和软件平台也越来越多。目前，机器学习智能算法计算框架主要有：TensorFlow、PyTorch、Caffe、MXNet、CNTK、Theano等。

当前开源框架面临着第三方依赖严重，版本难以控制，代码无法自主可控，阻碍后续性能优化和适应性改进，同时，智能计算框架大多面向针对服务器、PC端等平台，模型训练和推理依赖大量的计算资源，对硬件平台依赖严重，尤其无法给国产自主可控软硬件平台提供良好的支持。基于嵌入式平台提供自主可控的智能计算的计算框架，并提供智能模型的训练和推理变得迫切。

发明内容

本发明提供一种嵌入式人工智能计算框架及应用方法，用以解决现有技术中开源框架面临的第三方依赖严重、版本难以控制、代码无法自主可控等问题，并且基于所述嵌入式人工智能计算框架，实现智能模型的构建以及将所述智能模型进行训练和推理，得到所述智能模型的推理结果。

本发明提供一种嵌入式人工智能计算框架，包括：

第一接口层，为外部接口，提供前端接口或用户开发接口，用于为应用服务提供统一调用接口；

智能层，与所述第一接口层相接，提供用于构建智能模型以及将构建的智能模型进行训练和推理的接口和核心模块；

第二接口层，为内部接口，与所述智能层相接，用于为计算任务提供调用硬件层进行数据计算的接口；

硬件层，与所述第二接口层相接，用于对所述智能层所涉及的数据通过系统提供的硬件进行计算。

根据本发明提供的一种嵌入式人工智能计算框架，所述第一接口层包括C++编程语言接口和Python编程语言接口。

根据本发明提供的一种嵌入式人工智能计算框架，所述智能层包括网络层、核心模块以及底层数据计算接口，其中：

网络层，用于构建智能模型，包括智能模型的具体层，所述具体层对应神经网络的网络层结构；

核心模块，与所述网络层相接，包括构建智能模型的类，用于对所述智能模型构建、训练和推理所涉及的功能的定义，所述定义包括对应网络层接口定义、网络参数接口定义以及优化器接口定义，所述网络层的每一个具体层均由核心模块的一个类进行实现；

底层数据计算接口，分别与所述网络层与所述第二接口层连接，用于定义所述网络层所用到的数据计算的算子库。

根据本发明提供的一种嵌入式人工智能计算框架，所述第二接口层包括开放运算语言接口和标准C/C++实现接口，通过调用所述开发运算语言接口使用硬件层的GPU进行数据计算，通过所述标准C/C++实现接口调用硬件层的CPU进行数据计算。

本发明还提供一种基于上述所述的嵌入式人工智能计算框架的应用方法，包括：

利用所述嵌入式人工智能计算框架构建智能模型；