[发明专利]用任意费用函数训练学习系统

权利要求书

1.一种允许用户对结构化数据进行定位、排序、分级的方法，其中依照不可 微分费用函数训练机器学习系统来结构化数据，所述方法包括：

从数据存储中接收一组输入数据，该组输入数据是作为先前搜索查询的结果 而被返回的并包括下述项中的至少一个：一个或多个网页、一个或多个文本文件、 一个或多个图像、一个或多个音频数据文件、视频数据或字处理文件，从该组输入 数据生成用于训练的结构化数据；

至少部分基于所述用于训练的结构化数据以及反映上述费用函数的至少一个 需求的规则，获得至少一个估计的梯度，其中所述估计的梯度指示所述机器学习系 统输出的调整的量和方向；

基于所述至少一个估计的梯度，更新所述机器学习系统的至少一个参数；以 及

从所述机器学习系统中生成结构化数据，所述结构化数据包括至少基于所述 至少一个更新的参数而被更新的对输入数据的分级；以及

依据经更新的分级呈现所述结构化数据。

2.如权利要求1所述的方法，还包括开发基于所述不可微分费用函数获得估 计的梯度的至少一个规则，所述至少一个规则被用于获得所述至少一个估计的梯 度。

3.如权利要求1所述的方法，还包括测试所述机器学习系统以确定是否继续 训练所述系统。

4.如权利要求1所述的方法，所述机器学习系统是神经网络。

5.如权利要求4所述的方法，所述神经网络是单层神经网络。

6.如权利要求1所述的方法，所述机器学习系统包括可微分函数。

7.如权利要求1所述的方法，所述费用函数是赢者通吃WTA、归一化折减 累积增益测量NDCG、平均分级倒数MRR、在接收器操作曲线ROC曲线下的面 积、平均准确率和成对错误计数的至少其中之一。

8.一种允许用户对依照不可微分费用函数所结构化的数据进行定位、排序、 分级的机器学习系统，包括：

从输入数据生成用于训练的结构化数据的学习组件，所述输入数据是作为先 前搜索查询的结果而被返回的且由机器学习系统至少基于参数来分级的文档；

估计梯度组件，其至少部分基于从所述用于训练的结构化数据和所述不可微 分费用函数而获得至少一个估计的梯度，其中所述估计的梯度指示所述机器学习系 统输出的调整的量和方向；

参数组件，其至少部分基于所述至少一个估计的梯度更新所述机器学习系统 的至少一个参数；以及

结构化数据组件，用于生成结构化数据，所述结构化数据包括至少基于所述 至少一个更新的参数而被更新的对输入数据的分级以及依据经更新的分级呈现所 述结构化数据。

9.如权利要求8所述的系统，还包括规则组件，其包含反映所述费用函数的 至少一个需求的至少一个规则。

10.如权利要求8所述的系统，还包括估计的梯度数据存储，其包含所述至 少一个估计的梯度的值。

11.如权利要求8所述的系统，所述学习组件是神经网络。

12.如权利要求11所述的系统，所述神经网络是单层神经网络。

13.如权利要求8所述的系统，所述学习组件包括可微分函数。

14.如权利要求8所述的系统，所述输入数据是网页、文本文件、图像、音 频数据、视频数据和字处理文件的至少其中之一。

15.如权利要求8所述的系统，所述费用函数是赢者通吃WTA、归一化折减 累积增益测量NDCG、平均分级倒数MRR、在接收器操作曲线ROC曲线下的面 积、平均准确率和成对错误计数的至少其中之一。