[发明专利]一种基于模型进行预测的方法和装置

权利要求书

1.一种基于模型进行预测的方法，所述方法由机器学习模型系统执行，所述系统包括：机器学习模型、以及用于对机器学习模型的输入张量进行转换的嵌入模型；所述嵌入模型和机器学习模型分开部署，所述嵌入模型部署在嵌入运行环境，所述机器学习模型部署在模型运行环境中；所述嵌入模型用于对机器学习模型的输入张量进行高维空间向低维空间的转换操作；

所述方法包括：

所述模型运行环境接收所述机器学习模型的输入张量；

所述模型运行环境向嵌入运行环境发送查表请求，所述查表请求中携带所述输入张量，以请求对所述输入张量进行低维转换；

所述模型运行环境接收嵌入运行环境返回的查表结果，所述查表结果由所述嵌入运行环境根据所述输入张量进行嵌入查询和处理得到；

所述模型运行环境将所述查表结果输入机器学习模型，并运行所述机器学习模型完成基于模型进行预测。

2.根据权利要求1所述的方法，

所述嵌入运行环境是物理执行单元或者虚拟执行单元。

3.根据权利要求1所述的方法，所述机器学习模型系统中包括：至少一个嵌入运行环境、以及至少一个所述模型运行环境；每个嵌入运行环境运行一个嵌入模型，每个模型运行环境运行一个机器学习模型；

所述模型运行环境向嵌入运行环境发送查表请求，包括：

所述模型运行环境向本地的嵌入运行环境发送查表请求，所述嵌入运行环境与模型运行环境位于同一个物理节点上；

或者，所述模型运行环境向远程的嵌入运行环境发送查表请求，所述嵌入运行环境与模型运行环境位于不同的物理节点上。

4.根据权利要求3所述的方法，不同的模型运行环境配置不同的硬件资源，所述硬件资源适应所述模型运行环境上机器学习模型的运行需求。

5.根据权利要求4所述的方法，所述硬件资源包括如下至少一项：

中央处理器CPU，或者硬件加速器；

所述硬件加速器包括如下任一项：图形处理器GPU，或者现场可编程门阵列FPGA，或者为专门目的而设计的集成电路ASIC芯片。

6.根据权利要求1所述的方法，所述机器学习模型，包括如下任一项：

深度神经网络模型，或者WideDeep模型，或者DeepFM模型。

7.一种机器学习模型系统，所述系统包括：嵌入运行环境和模型运行环境，所述嵌入运行环境中部署嵌入模型，所述模型运行环境中部署机器学习模型；所述嵌入模型用于对机器学习模型的输入张量进行高维空间向低维空间的转换操作；

所述模型运行环境，用于接收所述机器学习模型的输入张量；并用于向嵌入运行环境发送查表请求，所述查表请求中携带所述输入张量，以请求对所述输入张量进行低维转换；还用于将所述查表结果输入机器学习模型，并运行所述机器学习模型完成基于模型进行预测；

所述嵌入运行环境，用于根据查表请求，对所述输入张量进行嵌入查询和处理得到查表结果，并将所述查表结果反馈给所述模型运行环境。

8.根据权利要求7所述的系统，

所述嵌入运行环境和模型运行环境，是物理执行单元或者虚拟执行单元。

9.根据权利要求7所述的系统，

所述机器学习模型系统中包括：至少一个嵌入运行环境、以及至少一个所述模型运行环境；每个嵌入运行环境运行至少一个嵌入模型，每个模型运行环境运行至少一个机器学习模型。

10.根据权利要求7所述的系统，

不同的模型运行环境配置不同的硬件资源，所述硬件资源适应所述模型运行环境上机器学习模型的运行需求。

11.一种基于模型进行预测的设备，所述设备包括存储器、处理器，以及存储在存储器上并可在处理器上运行的计算机指令，所述处理器执行指令时以实现嵌入运行环境和模型运行环境，所述嵌入运行环境用于运行嵌入模型，所述模型运行环境用于运行机器学习模型；所述嵌入模型用于对机器学习模型的输入张量进行高维空间向低维空间的转换操作；所述处理器执行指令用于实现以下步骤：

所述模型运行环境接收所述机器学习模型的输入张量；

所述模型运行环境向嵌入运行环境发送查表请求，所述查表请求中携带所述输入张量，以请求对所述输入张量进行低维转换；

所述模型运行环境接收嵌入运行环境返回的查表结果，所述查表结果由所述嵌入运行环境根据所述输入张量进行嵌入查询和处理得到；

所述模型运行环境将所述查表结果输入机器学习模型，并运行所述机器学习模型完成基于模型进行预测。