[发明专利]一种基于Filter的知识图谱问答联合训练方法

说明书

本发明提出一种基于Filter的知识图谱问答联合训练方法，该方法通过利用问句作为输入将主实体识别和关系预测两个子任务使用预训练语言模型BERT进行联合学习；将模型进行联合学习后的结果输入到过滤器中，得到适用于不同子任务的词向量表示；利用主实体识别、实体链接和关系预测的词向量表示从问句中识别出主实体，并在知识图谱中找到主实体的三元组，预测关系谓词；通过主实体词和关系谓词从知识图谱中找到答案步骤实现。本发明能够解决知识图谱问答进行联合训练时各个任务会因为彼此的特征冲突导致的学习到的模型会忽略部分任务相关的特征的问题，并通过两类过滤器来确保学习到的模型既能利用任务的关联性，又能注意到任务的差异性。

技术领域

本发明属于中文知识图谱问答技术和联合学习技术领域，特别是涉及一种基于Filter的知识图谱问答联合训练方法。

背景技术

随着人工智能相关技术不断渗透人们的生活，人们对自然语言问答系统的需求也日益提高。基于问答系统查询语句偏口语化和查询结果精确化的特点，问答系统在互联网和医疗等行业都有了一定的应用。因为问答系统的结果一般都很简洁明了，所以它需要优质精确的结构化知识作为回答自然语言问题的基础。知识图谱因其将知识以(S，P，O)三元组形式进行存储的特点，针对事实型问题，即引导词为哪里、什么、谁、哪一个等的问题将会在搜索上更加迅速，同时也在回答的准确率上有不错的效果。学术界将知识图谱问答分为面向简单问题即单跳问题的知识图谱问答和面向复杂问题即多跳问题的知识图谱问答。面向简单问题的知识图谱问答又叫做单跳推理的知识图谱问题，即针对在知识图谱中只通过对一个三元组的查找就可以找到正确答案的问题的问答系统。目前知识图谱问答任务出现了使用模板和知识图谱中的知识进行匹配的模板问答方法、基于词典-文法的语义解析方法和基于语义图的问句解析方法等基于语义解析的方法，也出现了基于记忆网络的方法、基于知识图谱的嵌入学习的问答方法等基于深度学习的方法。

联合学习：联合学习的方法通常被使用到自然语言处理和计算机视觉处理等人工智能技术的不同方面，旨在将两个或者多个在模型结构具有相似性的任务通过一定的技术技巧使得他们能够共享一部分模型结构或者参数。使用联合学习能够更好地获取任务间的关联性，减少错误传播问题，从而提高模型在各个任务上的泛化能力。

联合学习的实现方式主要可以分成两种，第一种是结构化的联合学习，即将多个任务整合到一个统一的框架中，然后共享大部分参数。在具体实现中，每个不同任务保留一定输出层的同时，不同的任务之间共享神经网络隐层。有研究提出共享训练任务的隐藏层可以降低神经网络过拟合的程度。这类方法需要处理全局的优化函数问题和在预测阶段采用束搜索或者强化学习的方法进行联合解码。

第二种方法是在以不同的任务有不用的网络参数为基础，通过添加一定的正则项，保证利用到任意两个任务之间的关联性。

目前一般认为多任务联合学习能够有较好效果的原因是获得了更通用的样本表示。在多项自然语言任务上表现良好的BERT预训练模型也在一定程度上的借鉴了这个思路，即先利用预训练语言模型获得更好的词向量表示，然后在具体的任务上进行微调。联合学习确实在人工智能方向有了越来越多的用处，在自然语言处理任务上，可以根据不同层次的任务利用共享神经网络的不同隐藏层。