[发明专利]用任意费用函数训练学习系统

说明书

本申请要求于2005年7月18日提交的题为“用任意费用函数训练分级系统 (RAINING RANKING SYSTEMS WITH ARBITRARY COST FUNCTIONS)”的 美国临时专利申请第60/700,080号的在35U.S.C.119(e)下的优先权。

背景

无论是作为因特网上信息源的迅速扩大的结果还是作为组织公司内的商务信 息的个人努力的结果或者是多种其他因素之中的任何一种，信息搜索者能获得的数 据量已经极大地增长。由于可获得的数据量已经增长，因此存在能够分类并且定位 相关的数据的需求。一个相关的问题是对已经被识别为相关的数据进行分级的需 要。

当用户搜索特定数据的数据集时，用户通常需要简单地与用户输入的搜索查 询有某种关系的超过一个的结果列表。用户通常希望能够从该列表中快速定位最好 或最相关的结果。对搜索结果进行分级可以协助用户快速定位最相关的数据。通常， 高分级向用户指示用户所搜索的信息在搜索结果中出现的较高概率。

一种方法是使用机器学习系统来定位、排序、分级或以其他方式处理数据。 机器学习系统包括诸如神经网络系统、支持向量机(“SVM”)和感知器及其他 的系统。这些系统可以被用于多种数据处理或分析任务，包括但不限于光学图案和 对象识别、控制和反馈系统以及文本分类。机器学习系统的其他潜在用途包括可以 受益于数据分类或回归的任何应用程序。通常，机器学习系统被训练以改善性能并 产生最优搜索、排序或分级结果。

通常使用费用函数训练此类机器学习系统，其中学习过程尝试最小化该费用 函数。然而通常所关注的费用函数不能被直接最小化，因为这已经提出了太难以解 决的问题。例如，在文件检索问题中，被训练系统的质量的测量是接收器操作曲线 (Receiver Operating Curve，ROC)下的面积。ROC曲线是正阳性(例如，相关的 文档检索)数量相对于假阳性(例如，不相关的文档检索)的数量的图示。此类费 用函数不是所使用的机器学习系统的输出的可微分函数，这样的平滑度缺乏提出了 直接地使用此类函数进行训练的困难性。

概述

下面给出学习系统训练系统和/或方法的一个或多个实施例的简化概述，以便 提供对此类实施例的一些方面的基本理解。这一概述不是广泛的纵览，且既非旨在 标识诸实施例的关键或重要元素，也非旨在描绘此类实施例的范围。其唯一目的是 以简化的形式给出所描述实施例的一些概念，作为后面给出的更加详细的描述的前 奏。

简而言之，在此所描述的系统和/或方法提供机器学习系统的训练。在此所描 述的系统可以包括至少部分地基于由学习系统和费用函数产生的结构化数据的一 组估计的梯度。可以使用所估计的梯度而不是费用函数来在系统训练期间确定或修 改机器学习系统的参数。

为实现上述及相关成果，结合下列说明和附图，在此描述所要求保护主题的 某些示例性方面。这些方面指示本主题可以实践的各种方法，这些方法均被规定为 是在所要求保护主题的范围之内。结合附图一起考虑，从下面的详细描述可以明显 看出本发明的其他优点和新颖特征。

附图简述

图1是用于依照在此公开主题的一个方面生成结构化数据的系统的例示。

图2是依照在此公开主题的一个方面生成结构化数据的系统的例示。

图3是依照在此公开主题的一个方面生成结构化数据的系统的例示。

图4A是一组文档的示例性分级的例示。

图4B是一组文档的示例性分级的例示。

图4C是一组文档的示例性分级的例示。

图5是多层神经网络的系统框图。

图6是单层神经网络的系统框图。

图7是神经网络单元位的系统框图。

图8是用于依照在此公开主题的一个方面的操作而准备学习系统的方法的例 示。

图9例示用于依照在此公开主题的一个方面而用任意的费用函数来训练学习 系统的方法。

图10例示用于更新机器学习系统参数的方法。

图11是例示适当的操作环境的示意性框图。

图12是示例计算环境的示意性框图。

详细描述