[发明专利]面向智能问答系统的句向量生成方法及系统

说明书

本发明涉及面向智能问答系统的句向量生成方法及系统，其方法包括：对给定的中文句子进行中文分词；根据分词结果为每个词生成对应的中文词向量；对句子进行语义角色标注，生成句子的语义关系图；以词向量作为输入，对句子进行编码，输出每个词向量的隐状态向量；对语义关系图进行编码，生成语义关系图的邻接矩阵；将语义关系图的邻接矩阵及词向量的隐状态向量输入图卷积网络GCN后，与BERT预训练模型的中间层各输出进行逐层融合迭代，获得最终编码后的句向量。相较于一般的句向量生成方法，本发明由于融入了句子的语义结构编码，拥有更丰富、更有指导性的信息，为相似问句语义匹配提供更高质量的输入，提高查询的精度。

技术领域

本发明属于人工智能中的自然语言处理技术(NLP)，具体为面向智能问答系统的句向量生成方法及系统。

背景技术

智能问答系统(Question-Answering)是目前人工智能和自然语言处理领域中一个倍受关注并具有广泛应用前景的研究方向，而面向常用问题集（Frequently AskedQuestions, FAQ）的检索型问答系统是目前最广泛使用的一种智能问答系统。FAQ检索型问答是根据用户提交的问询，在FAQ库中查找语义上最接近的一个对应问题，并把相应的回答反馈给用户。

FAQ问答系统的核心任务可以抽象为相似问句语义匹配任务，即根据用户提交的问句与FAQ库中的标准问句进行语义相似性度量。传统文本匹配方法，如信息检索中的BM25、向量空间模型VSM等方法，主要解决字面相似度问题。然而由于中文含义的丰富性，通常很难直接根据关键字匹配或者基于机器学习的浅层模型来确定两个句子之间的语义相似度。

衡量句子语义相似度的基础是句向量的生成，首先是将相似问句映射到一个高维度的语义空间中，然后才可以定义他们的相似性度量，如余弦相似度，使得语义上越接近的问句，其度量值越大。

传统的句向量生成主要依靠预训练模型，而目前NLP中的预训练模型是在大规模语料上进行无监督训练，学习得到通用的语言组合的规律和模式，有助于解决下游任务；目前的预训练模型主要使用神经网络，其中最有影响力的是2013年谷歌提出的word2vec，随后在2018年谷歌进一步提出了更高级的BERT模型。但是目前的预训练模型主要是根据词语和句子的共现（co-occurrence）关系来生成编码，没有进一步显示地融合词语和词语之间的语义关系信息，因此需要进一步的改善和提升。

发明内容

为了解决现有技术所存在的问题，本发明提供面向智能问答系统的句向量生成方法，通过引入SRL(Semantic Role Labeling，语义角色标注）浅层语义分析技术生成对应的语义关系图，利用图卷积网络GCN（Graph Convolutional Network）进行编码，然后通过与中文BERT预训练模型中不同层的输出进行抽取和融合，生成融合了语义关系信息的句向量，能够为相似问句的语义匹配问题提供更高质量的输入，有效提高检索式问答系统中的查询精度。

本发明还提供面向智能问答系统的句向量生成系统。

本发明的面向智能问答系统的句向量生成方法，包括以下步骤：

（1）、对给定的中文句子进行中文分词；

（2）、根据分词结果，为每个词生成对应的中文词向量；

（3）、对句子进行语义角色标注，生成句子的语义关系图；

（4）、以词向量作为输入，对句子进行编码，以隐状态向量的方式输出每个词对应的隐状态信息；

（5）、对语义关系图中每个节点进行初始编码，同时生成语义关系图的邻接矩阵；在语义关系图的邻接矩阵中，矩阵元素的取值为：

其中，将步骤（4）中生成的隐状态向量赋值给每个节点，作为语义关系图中每个节点的初始编码；