[发明专利]概述非线性回归问题中的结构化矩阵

说明书

政府合同

本发明是在政府支持下完成的，合同号为FA8750-12-C-0323，由国防部高级研究计划局授予。政府对本发明享有某些权利。

技术领域

本发明一般涉及预测分析领域，特别地，涉及基于概述(sketch)非线性回归问题中的结构化矩阵的高效和可伸缩的预测分析系统。

背景技术

数据分析应用中普遍出现的一个基本统计问题是非线性回归。对于大的数据集，解决这样的问题从计算上来说很有挑战性。

尽管存在解决线性最小二乘回归和最小绝对偏差问题的随机技术的发展，它们并不会利用在回归问题中经常发现的结构。例如，在多项式拟合问题和某些核回归问题中，设计矩阵的结构化很强，可想象其能导致解决回归问题的更快方法。

需要一种方法来利用这种结构。

发明内容

本发明提供了一种运行对于数字线性代数问题的基于概述的算法的系统和方法，包括多项式拟合和结构化回归。

在一个实施例中，当设计矩阵是范德蒙德矩阵或这种矩阵的序列时，该方法快速并近似地解决结构化回归问题，其中问题以各种统计建模设置自然出现，包括经典多项式拟合问题、加法模型(additive model)和近似，以及用于可伸缩核方法(kernel method)的最近开发的随机技术。

该范德蒙德矩阵结构可被开发，以进一步加速解决回归问题，实现比“输入稀疏”更快的运行时间(即，其写下描述回归问题的矩阵所需的时间)。

在一方面，提供了一种计算机实施的用于解决快速非线性回归和分类问题的方法。该方法包括：利用稀疏嵌入矩阵和结构化随机矩阵来概述输入和输出数据；利用输入和输出数据中的结构来加速概述，所述结构是范德蒙德矩阵形式；并解决概述的数据的回归问题。

在又一个方面，提供了一种用于解决快速非线性回归和分类问题的系统，包括：存储器；以及耦合到存储器的硬件处理器设备，被配置为执行包括以下步骤的方法：利用稀疏嵌入矩阵和结构化随机矩阵来概述输入和输出数据；利用输入和输出数据中的结构来加速概述，所述结果是范德蒙德矩阵形式；并解决概述的数据的回归问题。

在又一个方面，提供了一种用于执行操作的计算机程序产品。计算机程序产品包括存储介质，其可被处理电路读取，并存储由处理电路运行的指令以运行方法。该方法与如上描述的一样。

附图说明

现在将参考以下附图作为非限制性的例子描述实施例。

图1示出了根据在此描述的方法解决的回归问题的概述；

图2A到2C示出了本发明的预测分析方法的方面：图2A示出了应用概述矩阵S的一般方法的第一步骤20；图2B示出了在应用概述矩阵S后改良的回归问题30；且图2C示出了概述矩阵S的应用的描述以及S和A都被结构化以允许增加的处理速度的指示。

图3示出了在一个实施例中，实施处理器“p”55a，...55n的描述50，处理器被配置为将相同的概述矩阵S局部应用到其数据，并将相应的结果传播到中央处理器。

图4示出了在范德蒙德矩阵中使用的数据结构70以有助于实现更快的处理方法，并指示了几个应用，诸如多项式拟合和多变量多项式拟合；

图5示出了在一个实施例中被命名为算法1(StructRegression-2)100的第一概述矩阵乘法算法；

图6示出了在一个实施例中被命名为算法2(StructRegression-1)150的第二概述矩阵乘法算法；

图7示出了概括(generalization)性能表175形式的不同方法的测试误差和训练时间的比较；

图8A-8C示出了概述的示例性性能曲线，其报告了概述在运行时间方面的好处，以及在准确率方面的权衡；且

图9示出了其中可运行本方法的计算系统架构200的示例性硬件配置。

具体实施方式

系统和方法使用某种随机概述和采样转换来大大压缩大数据集，同时保持其关键特性。这允许对在较小的数据概述上很快地运行分析，但达到相同或类似的输出质量，就好象在整个数据集上运行那样。

系统和方法通过应用用于非线性回归的概述/采样概念，并针对特定结构化矩阵的问题，执行预测分析。

图1示出了以代数形式写出的回归问题的概念描述。在图1中，回归问题10是发现矩阵“x”，使得给定回归问题类，矩阵“Ax”与矢量“b”(值列表)尽可能接近：min_x|Ax-b|_p。