[发明专利]基于虚拟机的张量数据计算推理方法、装置及存储介质

说明书

本发明涉及深度学习技术领域，公开了一种基于虚拟机的张量数据计算推理方法、装置及存储介质，所述方法包括：获取指定输入模型文件，根据所述指定输入模型文件得到目标统一格式中间表示元；根据所述目标统一格式中间表示元和中间层优化策略生成目标自解码；根据所述目标自解码和加速设备操作信息构建目标设备可执行文件；根据所述目标设备可执行文件和模型类型对目标张量数据进行推理；通过上述方式，基于前端接入层进行格式统一，然后基于中间转换层和中间层优化策略进行数据优化，再基于终端执行层构建的目标设备可执行文件和模型类型进行计算推理，从而能够适应各种框架和平台的计算推理，且简化开发者进行模型推理的开发工作量。

技术领域

本发明涉及深度学习技术领域，尤其涉及基于虚拟机的张量数据计算推理方法、装置及存储介质。

背景技术

随着人工智能的不断发展，使得深度学习技术在各行各样受到了广泛应用，而深度学习的应用就离不开推理框架，例如，TensorFlow、PyTorch以及TNN等框架，但是不同的推理框架的功能不同，例如，TensorFlow和PyTorch是平台级框架，可用于训练和推理，而TNN框架只能用于推理，无论是哪种功能的框架，在其背后均适配了一些相关加速设备，例如，NVIDIA GPU、Apple M1以及ARM等，而不同推理框架的适配和优化程度又不尽相同，且不同种类的框架又因为训练平台不一样，需要适配多种模型文件，以及模型文件包括多种数据类型、操作流以及数据流，最终造成深度学习推理的碎片化，而这种碎片化，使得开发者在进行模型推理时增加了额外的开发工作，而且还需要开发者了解各种框架和平台之间的转换方式，加速设备的优化方式，造成开发工作量较为繁琐。

上述内容仅用于辅助理解本发明的技术方案，并不代表承认上述内容是现有技术。

发明内容

本发明的主要目的在于提供一种基于虚拟机的张量数据计算推理方法、装置及存储介质，旨在解决现有技术无法适应各种框架和平台的计算推理，造成开发者进行模型推理的开发工作量较为繁琐的技术问题。

为实现上述目的，本发明提供了一种基于虚拟机的张量数据计算推理方法，所述基于虚拟机的张量数据计算推理方法包括以下步骤：

获取指定输入模型文件，根据所述指定输入模型文件得到目标统一格式中间表示元；

根据所述目标统一格式中间表示元和中间层优化策略生成目标自解码；

根据所述目标自解码和加速设备操作信息构建目标设备可执行文件；

根据所述目标设备可执行文件和模型类型对目标张量数据进行推理。

可选地，所述获取指定输入模型文件，根据所述指定输入模型文件得到目标统一格式中间表示元，包括：

获取指定输入模型文件，根据所述指定输入模型文件得到对应的数值权重、张量结构以及计算图；

分别获取所述数值权重、所述张量结构以及所述计算图的数据格式；

在满足所述数值权重、所述张量结构以及所述计算图之间任意两者之间的所述数据格式不一致的条件时，通过前端输入层将所述数值权重、张量结构以及计算图转换成目标统一格式中间表示元。

可选地，所述根据所述目标统一格式中间表示元和中间层优化策略生成目标自解码，包括：

获取中间转换层的层数，根据所述中间转换层的层数和中间层次优化策略得到设置在各层的数据优化策略；

根据所述各层的数据优化策略分别对所述目标统一格式中间表示元进行优化，得到张量计算模型文件；

根据所述张量计算模型文件生成目标自解码。

可选地，所述根据所述张量计算模型文件生成目标自解码，包括：