[发明专利]基于概率的引导器

说明书

所公开的技术提出使用计算上便宜、不太精确的词袋(BoW)模型和计算上昂贵、更精确的长短期记忆(LSTM)模型的组合来执行自然处理任务(诸如情绪分析)。使用便宜的、不太精确的BoW模型在本文中称为“略读”。使用昂贵的、更精确的LSTM模型在本文中称为“阅读”。所公开的技术提出了基于概率的引导器(PBG)。PBG结合了BoW模型和LSTM模型的使用。PBG使用概率阈值策略来基于BoW模型的结果确定是否调用LSTM模型以将句子可靠地分类为积极或消极。所公开的技术还提出了基于深度神经网络的决策网络(DDN)，其被训练以学习BoW模型和LSTM模型之间的关系并且仅调用两个模型中的一个。

相关申请的交叉引用

本申请要求2017年12月22日提交的美国实用专利申请No.15/853,530和2017年3月15日提交的美国临时申请No.62/471,934的优先权，其内容通过引用全部并入本文用于所有目的。

本申请通过引用将2017年12月22日提交的美国实用专利申请No.15/853,570全部用于所有目的。

技术领域

所公开的技术涉及人工智能型计算机和数字数据处理系统以及用于仿真智能的相应数据处理方法和产品(即，基于知识的系统、推理系统和知识获取系统)；并包括用于具有不确定性推理的系统(例如，模糊逻辑系统)、自适应系统、机器学习系统和人工神经网络。所公开的技术使用深度神经网络(诸如长短期记忆(LSTM)网络)来进行自然语言处理任务。

背景技术

本节中讨论的主题不应仅仅因为在本节中提及而被认为是现有技术。类似地，不应假定本节中提到的或与作为背景提供的主题相关的问题先前已在现有技术中被认识到。本节中的主题仅表示不同的方法，这些方法本身也可以对应于所要求保护的技术的实现。

自然语言处理(NLP)中最近的深度学习进展一直集中于一个目标-无论计算成本如何，都具备最先进的性能。我们提出了一种基于深度学习的解决方案，可以降低计算成本，同时保持深度神经网络提供的高精度。通过让快速基线模型决定哪个句子容易或困难，我们展示了一个便宜的分类器(例如词袋)，学习如何将简单句子与难句分开。我们的结果发现，阈值概率(在分类期间作为副产品产生)优于不具有准确性与时间节省度量的引导策略。

深度学习模型越来越大，越来越好，越来越昂贵，在全有或全无的追求中达到超人的表现。在自然语言处理(NLP)中，通常新增加的基础是他们的新颖的最先进的设计在一个相对狭窄的扩展，其很好地解决了复杂的语言任务。这包括合并语义知识，减少字典大小，甚至增加字典大小。直观地说，有意义的是，这样的增加只会将新系统发挥到具有增加所征服的特定挑战的那些数据点。然而，通常情况并非如此，因为深度学习算法主要是以不变量为基准的，该不变量对给定数据点及其困难是不注意的。此外，随着对更深意味着更好的理解的增加，当前最先进的系统可能过多并且浪费计算以确保在大多数场景下可能不相关的语言区域中的窄的准确度改进。例如，图3示出了便宜模型如何在训练用于情绪分析(例如，使用反向传播)时对句子进行群集。在图3中，标记了一些群集以显示某些数据点比其他数据点更容易，并且监督学习可以揭示某些语言属性的群集。

所公开的技术提出了两种不同的方法，用于理解句子何时易于分类以及何时难以分类。所公开的技术应用便宜的词袋(略读)或昂贵的LSTM(阅读)来基于方法的决定对句子进行分类。第一种方法使用词袋系统的概率输出作为置信度量。第二种方法构建决策神经网络，以了解何时词袋可能正确与何时LSTM可能正确之间的关系。

我们的方法都优于没有引导式基线策略，并且可以为工程团队节省大量计算资源。

附图说明

该专利或申请文件包含至少一幅彩色附图。具有彩色附图的本专利或专利申请公开的副本将在请求和支付必要费用后由主管局提供。也可以通过补充内容选项卡在PAIR获得彩色附图。