[发明专利]提高双向注意力机器学习模型应答能力的方法及装置

说明书

本发明提供了一种提高双向注意力机器学习模型应答能力的方法及装置。本发明通过对标准BiDAF模型进行改进，使模型保留了对学习过的内容的记忆和语义理解，能够输出学过问题的答案，又通过新增独立线性神经网络模型拒绝没学过内容的提问，从而增强了标准BiDAF模型在小范围专有知识问答场景的落地应用可行性。

技术领域

本发明实施例涉及机器学习领域，具体涉及一种提高双向注意力机器学习模型应答能力的方法及装置。

背景技术

在专有知识领域里面，例如某项社会科学专有领域，我们经常面对缺乏专业领域高质量语料，更加缺乏高质量标注语料。如何在狭窄的专业知识领域里面让计算机明白文字阐述的知识点，并且转化成智能问答机器人的形式展现出来，成为一个有价值的工程尝试。

在机器阅读理解这个范畴里面，BiDAF(双向注意力机器学习模型)是被广泛接受和应用的一个模型。模型学习方式是用标注过的语料训练模型，模型在“词语”级别上对这些标注过的文本体现出很强的记忆和语义理解能力，对没有标注过的内容则表现不敏感。基于这个特点，模型对训练标注语料规模没有特别要求。从这个特性上来讲BiDAF模型可以适合小语料下的专家问答场景应用。即对高质量标注语料要求不高，教过的内容模型能够理解并回答。

但是，标准的BiDAF模型代码由于其设计过于简单，模型对标注过的内容过分敏感，对标注体本身的语义，如一种常见的标注形式为针对文本的内容提问或撰写简单的内容大纲，表现不敏感。具体来说，标准BiDAF模型能够很快记住答案，但是，与此同时在加深训练的过程中模型会迅速遗忘了标注体本身，即“提问”。最终，标准BiDAF模型体现出来对提问问题不够敏感，模型给出的答案与问题本身语义相关性不明显，带给用户的体验是答非所问。

发明内容

鉴于上述问题，本发明提供了一种提高双向注意力机器学习模型应答能力的方法及装置，克服了上述问题或者至少部分地解决了上述问题。

根据本发明实施例的一个方面，提供了一种提高双向注意力机器学习模型应答能力的方法，包括：

获取预设语料库的正向数据和负向数据，所述正向数据为语料库中经过标注的数据，包括问题和答案，所述负向数据为与正向数据无关的数据；

所述正向数据和负向数据用于训练得到双向注意力机器学习模型，所述双向注意力机器学习模型包括注意力流层和建模层，在所述注意力流层加大正向数据的问题在所述双向注意力机器学习模型中的权重，以增加正向数据和负向数据的差异度；

构建位于所述建模层的独立线性神经网络模型，所述独立线性神经网络模型用于接收来自双向注意力机器学习模型的注意力流层的正向数据和负向数据进行训练；

所述双向注意力机器学习模型和独立线性神经网络模型进行联合训练，并捕获正向数据和负向数据的差异性。

优选的，所述获取预设语料库的正向数据和负向数据，包括：所述正向数据和负向数据的采集比例在1:3到1:10之间。

优选的，所述在所述注意力流层加大正向数据的问题在所述双向注意力机器学习模型中的权重，具体为：将正向数据的问题加大到三次链接，分别链接到短期记忆、长期记忆和被标注的数据。

优选的，所述独立线性神经网络模型的负向数据输入还包括来自双向注意力机器学习模型随机产生的负向数据。

优选的，所述双向注意力机器学习模型和独立线性神经网络模型进行联合训练，包括：所述双向注意力机器学习模型在训练1轮时，所述独立线性神经网络模型训练3-10轮。

优选的，所述捕获正向数据和负向数据的差异性，进一步为：所述差异性可以使所述双向注意力机器学习模型正确回答学习过的问题，并拒绝不能回答的问题。

根据本发明实施例的另一个方面，提供了一种提高双向注意力机器学习模型应答能力的装置，包括：