[发明专利]基于虚拟机的张量数据计算推理方法、装置及存储介质

权利要求书

1.一种基于虚拟机的张量数据计算推理方法，其特征在于，所述基于虚拟机的张量数据计算推理方法包括以下步骤：

获取指定输入模型文件，根据所述指定输入模型文件得到目标统一格式中间表示元；

根据所述目标统一格式中间表示元和中间层优化策略生成目标自解码；

根据所述目标自解码和加速设备操作信息构建目标设备可执行文件；

根据所述目标设备可执行文件和模型类型对目标张量数据进行推理。

2.如权利要求1所述的基于虚拟机的张量数据计算推理方法，其特征在于，所述获取指定输入模型文件，根据所述指定输入模型文件得到目标统一格式中间表示元，包括：

获取指定输入模型文件，根据所述指定输入模型文件得到对应的数值权重、张量结构以及计算图；

分别获取所述数值权重、所述张量结构以及所述计算图的数据格式；

在满足所述数值权重、所述张量结构以及所述计算图之间任意两者之间的所述数据格式不一致的条件时，通过前端输入层将所述数值权重、张量结构以及计算图转换成目标统一格式中间表示元。

3.如权利要求1所述的基于虚拟机的张量数据计算推理方法，其特征在于，所述根据所述目标统一格式中间表示元和中间层优化策略生成目标自解码，包括：

获取中间转换层的层数，根据所述中间转换层的层数和中间层次优化策略得到设置在各层的数据优化策略；

根据所述各层的数据优化策略分别对所述目标统一格式中间表示元进行优化，得到张量计算模型文件；

根据所述张量计算模型文件生成目标自解码。

4.如权利要求3所述的基于虚拟机的张量数据计算推理方法，其特征在于，所述根据所述张量计算模型文件生成目标自解码，包括：

根据所述张量计算模型文件得到对应的文件类型和张量计算模型数据；

根据所述文件类型在编码策略集合中选取目标编码策略；

通过所述目标编码策略对所述张量计算模型数据进行编码，得到目标自解码。

5.如权利要求1所述的基于虚拟机的张量数据计算推理方法，其特征在于，所述根据所述目标自解码和加速设备操作信息构建目标设备可执行文件，包括：

获取若干数量的处理器信息和加速设备信息；

根据所述处理器信息和所述加速设备信息得到若干数量计算数据库；

通过所述若干数量计算数据库和预设数据库根据所述目标自解码逐层生成目标运行设备编码；

根据所述目标运行设备编码和所述加速设备操作信息构建目标设备可执行文件。

6.如权利要求5所述的基于虚拟机的张量数据计算推理方法，其特征在于，所述根据所述目标运行设备编码和所述加速设备操作信息构建目标设备可执行文件，包括：

根据所述加速设备操作信息得到加速设备支持操作信息和加速设备不支持操作信息；

根据所述加速设备支持操作信息将所述目标运行设备编码导入至加速设备进行执行，得到加速设备执行结果；

根据所述加速设备不支持操作信息将所述目标设备编码导入至目标处理设备进行执行，得到处理设备执行结果；

根据所述加速设备执行结果和所述处理设备执行结果构建目标设备可执行文件。

7.如权利要求1至6中任一项所述的基于虚拟机的张量数据计算推理方法，其特征在于，所述根据所述目标设备可执行文件和模型类型对目标张量数据进行推理，包括：

获取待运行设备信息，根据所述待运行设备信息确定目标运行设备；

通过所述目标运行设备对所述目标设备可执行文件进行执行，得到文件执行结果；

根据所述目标设备可执行文件确定模型类型；

根据所述文件执行结果和所述模型类型对目标张量数据进行推理。