[发明专利]用于可解释序列和时序数据建模的系统和方法

说明书

用于可解释序列和时序数据建模的系统和方法。公开了一种新颖的可解释且可操纵的深度序列建模技术。该技术组合了原型学习和RNN，以实现可解释性和高准确性两者。关于不同的真实世界序列预测/分类任务的实验和案例研究证明：该模型不仅与其他最先进的机器学习技术一样准确，而且还更可解释得多。此外，在Amazon Mechanical Turk上的大规模用户研究证明：对于熟悉的领域、像对文本的情绪分析，该模型能够选择与人类知识良好匹配的高质量原型，以用于预测和解释。此外，该模型通过并入来自用户研究的反馈来更新原型，从而在没有性能损失的情况下获得更好的可解释性，这证明了涉及人机回圈以用于可解释的机器学习的益处。

相关申请的交叉引用

本申请要求2019年5月17日提交的序列号为62/849,669的美国临时申请的权益，该美国临时申请的内容由此通过引用整体地并入本文中。

技术领域

本申请总体上涉及一种用于生成解释信息的系统，该解释信息用于由机器学习算法做出的决策。

背景技术

在设备和计算系统中更多地使用机器学习来做出决策或预测。尽管它们有实际用途，但是机器学习算法通常缺乏透明度，这限制了它们在许多关键决策做出场景中的应用。由于在欧盟的最近法规要求针对用于做出个人水平预测的算法的“解释权”，因此对于更透明和可理解的机器学习系统的需求变得更迫切。

发明内容

公开了用于实现原型（prototype）序列机器学习网络的系统和方法。处理器可以可操作于实现原型序列机器学习网络。该系统和方法可以使用序列编码器来映射一个或多个加标签的序列数据集，以生成具有固定长度的嵌入向量。所预期的是，可以使用长短期记忆（LSTM）网络、双向LSTM网络或门控循环单元（GRU）网络来设计序列编码器。

可以在嵌入向量与一个或多个原型向量之间确定评分，以生成一个或多个相似度向量。当嵌入向量的序列嵌入与原型向量不同时，可以向评分分配“零”值。并且，当单个嵌入向量的序列嵌入与原型向量相同时，可以向评分分配“一”值。该系统和方法还可以使用全连接层来对一个或多个预测值进行分类，该全连接层针对一个或多个相似度向量中的每一个应用权重矩阵。

全连接层还可以包括稀疏性惩罚（penalty）以及将权重矩阵约束为一个或多个正值的非负约束。稀疏性惩罚和非负约束可以可操作于改进用于原型序列机器学习算法的学习过程，使得所述一个或多个原型向量具有更多的统一语义和添加性语义。所预期的是，在训练过程期间，所述一个或多个原型中的至少一个也可以被修改、修正和/或删除。

所预期的是，该系统和方法还可以使用softmax层来计算针对加标签的序列数据集的预测概率，该softmax层将所述一个或多个预测值的每一个的指数除以所述一个或多个预测值的总和。多样性正则化值也可以应用于所述一个或多个原型，以惩罚所述一个或多个原型向量中的至少第一个，其与所述一个或多个原型向量中的第二个相似。聚类正则化函数还可以应用于所述一个或多个加标签的数据集和所述一个或多个原型向量，以确保隐空间（latent space）中的聚类结构。证据正则化函数也可以被应用，以确保所述一个或多个原型向量大约等于所述一个或多个加标签的序列数据集。

该系统和方法还可以可操作于向所述一个或多个原型向量分配从训练数据集提供的序列嵌入向量。所预期的是，序列嵌入向量可以大约等于所述一个或多个原型向量。还预期的是，分配所述一个或多个原型向量可以在预定时期处发生。该系统和方法还可以将所述一个或多个原型向量投影到训练数据集内的事件的子序列。波束搜索算法还可以被实现成：选择被确定为基本上等于所述一个或多个原型向量的候选。

附图说明

图1是用于可解释序列建模系统100的示例配置。

图2描绘了用于改进的可解释性的机器学习模型配置。

图3描绘了用于更新机器学习模型的用户交互的示例。