[发明专利]提高双向注意力机器学习模型应答能力的方法及装置

权利要求书

1.一种提高双向注意力机器学习模型应答能力的方法，其特征在于，包括：

获取预设语料库的正向数据和负向数据，所述正向数据为语料库中经过标注的数据，包括问题和答案，所述负向数据为与正向数据无关的数据；

所述正向数据和负向数据用于训练得到双向注意力机器学习模型，所述双向注意力机器学习模型包括注意力流层和建模层，在所述注意力流层加大正向数据的问题在所述双向注意力机器学习模型中的权重，以增加正向数据和负向数据的差异度；

构建位于所述建模层的独立线性神经网络模型，所述独立线性神经网络模型用于接收来自双向注意力机器学习模型的注意力流层的正向数据和负向数据进行训练；

所述双向注意力机器学习模型和独立线性神经网络模型进行联合训练，并捕获正向数据和负向数据的差异性。

2.根据权利要求1所述的方法，其特征在于，所述获取预设语料库的正向数据和负向数据，包括：所述正向数据和负向数据的采集比例在1:3到1:10之间。

3.根据权利要求1所述的方法，其特征在于，所述在所述注意力流层加大正向数据的问题在所述双向注意力机器学习模型中的权重，具体为：将正向数据的问题加大到三次链接，分别链接到短期记忆、长期记忆和被标注的数据。

4.根据权利要求1所述的方法，其特征在于，所述独立线性神经网络模型的负向数据输入还包括来自双向注意力机器学习模型随机产生的负向数据。

5.根据权利要求1所述的方法，其特征在于，所述双向注意力机器学习模型和独立线性神经网络模型进行联合训练，包括：所述双向注意力机器学习模型在训练1轮时，所述独立线性神经网络模型训练3-10轮。

6.根据权利要求1所述的方法，其特征在于，所述捕获正向数据和负向数据的差异性，进一步为：所述差异性可以使所述双向注意力机器学习模型正确回答学习过的问题，并拒绝不能回答的问题。

7.一种提高双向注意力机器学习模型应答能力的装置，其特征在于，包括：

数据获取模块，用于获取预设语料库的正向数据和负向数据，所述正向数据为语料库中经过标注的数据，包括问题和答案，所述负向数据为与正向数据无关的数据；

第一训练模块，与所述数据获取模块耦接，用于采用所述正向数据和负向数据用于训练得到双向注意力机器学习模型，所述双向注意力机器学习模型包括注意力流层和建模层，在所述注意力流层加大正向数据的问题在所述双向注意力机器学习模型中的权重，以增加正向数据和负向数据的差异度；

第二训练模块，与所述第一训练模块耦接，用于构建位于所述建模层的独立线性神经网络模型，所述独立线性神经网络模型用于接收来自双向注意力机器学习模型的注意力流层的正向数据和负向数据进行训练；

输出模块，与所述第一训练模块、第二训练模块耦接，用于根据所述双向注意力机器学习模型和独立线性神经网络模型的训练结果来捕获正向数据和负向数据的差异性。

8.一种电子设备，其特征在于，包括：

处理器；以及

存储器，在所述存储器中存储有计算机程序指令，所述计算机程序指令在被所述处理器运行时使得所述处理器执行如权利要求1-6中任一项所述的提高双向注意力机器学习模型应答能力的方法。

9.一种计算机可读存储介质，其特征在于，所述计算机可读存储介质上存储有计算机程序指令，当所述计算机程序指令被计算装置执行时，可操作来执行如权利要求1-6中任一项所述的提高双向注意力机器学习模型应答能力的方法。