[发明专利]多轮问答系统意图分类和命名实体识别的研究方法

说明书

本发明提供了一种多轮问答系统意图分类和命名实体识别的研究方法。其包括以下步骤：1)在进行意图分类时，通过对话状态追踪模块，将上下文的历史信息作为输入，传入了意图分类预测模型；2)在命名实体识别预测时，将本轮的意图识别结果作为特征，传入命名实体预测模型;3)将命名实体识别和意图分类通过一个多任务模型进行训练，并根据前两点的需要，对模型进行改进。本发明将NLU和DM直接改为双向模型，上下文信息能够提高意图分类的准确率，将命名实体识别和意图分类通过一个多任务模型Bert模型融合，可以方便进行部署。

技术领域

本发明涉及一种智能问答系统，具体涉及一种多轮问答系统意图分类和命名实体识别的研究方法，属于人工智能技术领域。

背景技术

如附图1，传统的任务型问答系统采用pipline结构，自然语音理解模块（NLU）是任务型问答系统的主要组成部分，在NLU模块中，命名实体识别和意图分类分别用于提取对话中的实体和分类对话意图，从自然语言理解模块（NLU）到对话管理模块（DM）是单向的。

另外现有的智能对话平台，在实现NLU时存在两个缺点。第一，现有平台在做命名实体识别时，未将该文本的意图作为特征进行考虑。第二，在做意图分类时，未考虑上下文信息对意图分类的影响。

发明内容

本发明目的是提供了一种多轮问答系统意图分类和命名实体识别的研究方法。

本发明为实现上述目的，通过以下技术方案实现：

一种多轮问答系统意图分类和命名实体识别的研究方法，包括以下步骤：

1)在进行意图分类时，通过对话状态追踪模块，将上下文的历史信息作为输入，传入了意图分类预测模型；

2)在命名实体识别预测时，将本轮的意图识别结果作为特征，传入命名实体预测模型;

3)将命名实体识别和意图分类通过一个多任务模型进行训练，并根据前两点的需要，对模型进行改进。

所述多轮问答系统意图分类和命名实体识别的研究方法优选方案，使用Bert模型的多任务架构，Bert在输入的每句话的开头添加[CLS]标识位，该标示位作为意图分类的预测结果，在Bert的输出层上，增加条件随机场CRF作为命名实体识别的预测输出，并将意图分类的隐藏层信息作为输入，作为命名实体识别预测的一部分。

所述多轮问答系统意图分类和命名实体识别的研究方法优选方案，具体包括如下步骤：

S1.将DM模块中DST上下文数据，作为Bert模型的输入之一;

S2.将命名实体识别模块和意图分类模块使用Bert多任务进行融合处理;

S3.将意图分类结果状态，作为输入传输给CRF模型预测。

本发明的优点在于：

将NLU和DM直接改为双向模型，上下文信息能够提高意图分类的准确率，将命名实体识别和意图分类通过一个多任务模型Bert模型融合，可以方便进行部署。

附图说明

附图用来提供对本发明的进一步理解，并且构成说明书的一部分，与本发明的实施例一起用于解释本发明，并不构成对本发明的限制。

图1为本发明实施例中智能对话流程图。

图2为本发明实施例中智能对话改进图。

图3为本发明实施例中多任务Bert图。

具体实施方式

下面将结合本发明实施例中的附图，对本发明实施例中的技术方案进行清楚、完整地描述，显然，所描述的实施例仅仅是本发明一部分实施例，而不是全部的实施例。基于本发明中的实施例，本领域普通技术人员在没有做出创造性劳动前提下所获得的所有其他实施例，都属于本发明保护的范围。