[发明专利]将外部应用程序集成到深度神经网络中

权利要求书

1.一种用于将外部软件应用程序集成到深度神经网络中的方法，包括：

在深度神经网络DNN的端到端训练期间，操作可微分的估计器子网以估计外部软件应用程序的功能，其中：

所述估计包括通过学习每个可微分的估计器子网的输入接口和输出接口的格式和特性，学习外部应用程序的API；并且

所述DNN遵循所述可微分的估计器子网的所述估计；

在所训练的DNN进行推理期间，通过启用所述DNN与所述外部软件应用程序之间的API通信，将所述可微分的估计器子网替换为所述外部软件应用程序的功能。

2.如权利要求1所述的方法，其中所述端到端训练具有随机梯度下降SGD。

3.如权利要求1所述的方法，其中所述外部软件应用程序的所述功能是不可微分的。

4.如权利要求1所述的方法，其中所述外部软件应用程序的所述功能是可微分的。

5.如权利要求1所述的方法，还包括操作至少一个选择器子网以：

确定对所述外部软件应用程序的应用程序编程接口API调用；以及

从到所述DNN的输入中提取合适的API自变量。

6.如权利要求5所述的方法，还包括操作适应函数以：

使所述选择器子网的输出格式适应所述API所需的输入格式；以及

在推理期间，使所述API的输出格式适应所述DNN的更高网络层所需的输入格式。

7.如权利要求1所述的方法，其中所述可微分的估计器子网将不同的数据表示嵌入到相同的向量空间中，以使所述DNN能够互换地处理所述不同的数据表示。

8.如权利要求7所述的方法，其中，所述不同的数据表示包括数字和文本。

9.如权利要求1所述的方法，其中：

在所述DNN的端到端训练期间，所述可微分的估计器子网在被操作之前被训练；以及

所述可微分的估计器子网的所述训练基于作为针对所述外部软件应用程序生成的输入的训练数据。

10.如权利要求9所述的方法，其中，在所述DNN的所述端到端训练期间更新所述可微分的估计器子网的参数。

11.如权利要求1所述的方法，其中：

在所述DNN的所述端到端训练期间基于由所述外部软件应用程序生成的标签来计算损失值；以及

所计算的损失值用于所述DNN的所述端到端训练中。

12.如权利要求1所述的方法，其中：

在所述DNN的端到端训练期间，所述可微分的估计器子网在被操作之前被训练；

所述可微分的估计器子网的所述训练基于作为针对所述外部软件应用程序生成的输入的训练数据；

在所述DNN的所述端到端训练期间基于由所述外部软件应用程序生成的标签来计算损失值；

所计算的损失值用于所述DNN的所述端到端训练中；以及

在所述DNN的所述端到端训练期间更新所述可微分的估计器子网的参数。

13.一种用于将外部软件应用程序集成到深度神经网络中的计算机可读存储介质，包括程序代码，所述程序代码能够由至少一个硬件处理器执行以执行如权利要求1-12中任一项所述的方法中的步骤。

14.一种用于将外部软件应用程序集成到深度神经网络中的系统，包括：

至少一个硬件处理器；以及

计算机可读存储介质，所述计算机可读存储介质具有随其实现的程序代码，所述程序代码能够由所述至少一个硬件处理器执行以执行如权利要求1-12中任一项所述的方法中的步骤。

15.一种包括用于执行如权利要求1-12中任一项所述的方法中的步骤的模块的系统。