[发明专利]异构数据流上的利用-探索

说明书

使用利用‑探索模型对异构事件数据流的机器学习。异构事件数据流可以包括任何数量的不同数据类型。系统根据公共特征维度空间来特征化至少一部分传入的事件数据流。然后，得到的特征化事件数据流被分流成探索部分和利用部分。探索部分用于执行机器学习，从而增加机器知识。利用部分用于利用当前的机器知识。因此，在传入的事件数据流的利用和探索之间达成自动平衡。自动平衡甚至可以作为云计算服务来执行。

背景技术

计算机和网络已经迎来了所谓的“信息时代”。人类和机器都有大量的数据可用。大量数据也可以被提供给计算系统，以允许计算系统通过观察数据内的模式来学习信息，而无需信息显式地位于数据内。这种基于计算机的学习过程通常被称为“机器学习”。

学习模型中的一个权衡被称为探索(exploration)-利用(exploitation)权衡。这种权衡是在选择采用现有知识以获得更多即时利益(“利用”)和选择试验不太确定的东西以便可能学习更多(“探索”)之间的平衡。在机器学习中，通过更详细地探索很少发生的数据点，或者通过针对由于环境或市场条件的变化而导致的最近变化探索频繁出现的数据点，在训练模型中捕获的知识可以被增强。

并非每次短暂偏离轨道都会产生有用的环境知识。然而，作为长期策略，如果将一些资源用于探索，那么环境知识最终将增加，从而导致有更多的机会在后续(通过利用)使用该信息。这种权衡实质上有关于平衡即时利益与用于长期利益的即时牺牲之间—平衡当前需求与未来改进的愿望。一些传统的计算系统确实认识到这种平衡，因此在进行机器学习时提供了利用和探索的权衡。

在此要求保护的主题不限于解决任何缺点或仅在诸如上面描述的那些环境中操作的实施例。而是，提供该背景仅用于说明可以实践本文描述的一些实施例的一个示例性技术领域。

发明内容

在此描述的至少一些实施例涉及使用利用-探索(exploit-explore)模型对异构事件数据流进行机器学习。异构事件数据流可以包括任何数量的不同数据类型。该系统根据公共特征维度空间来特征化至少一部分传入的事件数据流。因此，不管在事件数据流内接收到不同数据类型的事实如何，该数据被转换为具有相同特征维度空间的数据结构(例如特征向量)。

得到的特征化的事件数据流然后被分流(split)成探索部分和利用部分。探索部分用于执行机器学习，从而增加机器知识。利用部分用于利用当前的机器知识。因此，在进入事件数据流的利用和探索之间达成自动平衡。自动平衡甚至可以作为云计算服务来执行。因此，可以向多个客户端应用提供利用-探索服务，从而允许每个客户端应用具有输入数据流的适当平衡的改进以及可能实时的分析，以优化当前利用与用于未来利用的学习(探索)。

在一些实施例中，可以动态地改变该分流。此外，利用和/或探索可以由组件执行，并且可以被其他组件切换。因此，存在可以被执行的利用-探索模型的高度定制和/或动态改变。

提供本发明内容是为了以简化的形式介绍一系列概念，这些概念将在下面的具体实施方式中进一步描述。本发明内容不旨在标识所要求保护的主题的关键特征或必要特征，也不旨在用于帮助确定所要求保护的主题的范围。

附图说明

为了描述可以获得本发明的上述和其他优点和特征的方式，上面简要描述的本发明的更具体的描述将通过参考附图中所示的具体实施例来呈现。应理解，这些附图仅描绘了本发明的典型实施例，因此不应认为是对其范围的限制，本发明将通过使用附图利用附加的规定和细节被描述和解释，其中：

图1示出了可以采用在此描述的原理的示例计算系统；

图2示出了根据在此描述的原理使用分流利用-探索模型在异构数据流上实现机器学习的计算系统；

图3示出了根据在此描述的原理的基于异构数据流的机器学习方法的流程图；

图4示出了在云计算环境中实现的图2的计算系统的实施例；