[发明专利]基于多注意力机制的问题分类方法、系统及存储介质

说明书

本发明实施方式提供一种基于多注意力机制的问题分类方法、系统及存储介质，属于问题分类技术领域。所述问题分类方法包括：获取待分类的文本；采用word2vec模型将所述文本转化为对应的词向量序列；根据词向量序列形成基于疑问词注意力机制的词向量矩阵；采用预设的标注集对所述文本进行词性标注并编码以形成词性向量序列；采用公式(1)分别计算所述词向量序列中的每个向量的系数；采用公式(2)对每个系数进行标准化处理；采用公式(3)确定词性注意力机制的词向量矩阵；将两种词向量矩阵进行卷积操作形成组合矩阵；将组合矩阵输入LSTM得到具有时序特征的特征矩阵，接着使用自注意力机制得到特征向量，根据特征向量确定文本的类别。

技术领域

本发明涉及问题分类技术领域，具体地涉及一种基于多注意力机制的问题分类方法、系统及存储介质。

背景技术

近几年来，随着互联网的大范围普及，越来越多的人参与到网络信息交互中，促进了问答系统的迅猛发展。问答系统作为信息检索领域的延伸，能够为用户提出的自然语言问题提供一个正确且简明扼要的答案，满足用户的信息需求。问答系统一般包括问题分类、信息检索、答案抽取三个部分，其中问题分类无疑是问答系统的基础任务，只有对问题进行正确的分析、归类，才能有效的缩小候选答案空间，制定合适的答案选择策略，从而更精准的找到正确答案。因此，如何更快速、准确的识别出问题的类别，对于问答系统非常关键，也逐渐成为学术界的研究热点。

基于规则的问题分类方法是最早用于问题分类的方法，但是需要人工标注大量规则，费时费力，有很大的局限性，分类效果较差，目前应用较少。基于机器学习的问题分类方法主要在特征提取和分类器选择上面做研究：Zhang等使用SVM算法对问题进行分类，并使用treekernel来提取特征；冶忠林等提出一种基于语义扩展的问题分类方法，先用搜索引擎对问题进行搜索，得到一系列相关网页数据，将数据处理后使用主题模型得到与问题相关的特征词，计算特征词与类别词之间的相似度，从而得到问题的类别；张青等先利用卡方统计量特征选择方法选出问题文本的特征词，将其作为特征扩展的依据，然后用外部知识库预训练的LDA模型得到问题文本的相应主题下的主题词作为扩展特征词，最后用支持向量机分类器对扩展后的文本进行分类。但是机器学习算法不能提取到丰富的语义特征，分类性能受限。

基于深度学习的方法用词向量作为文本的初始特征表示，且能够提取到深层次的文本语义信息，大大提高了分类的效果。郭宝震等对用两种训练算法得到的词向量分别进行注意力建模，然后输入给CNN进行卷积和池化提取特征；张栋等联合问题和答案一起进行词向量训练，并用未标注样本和已标注样本联合学习词向量，扩充了问题的语义信息，之后用卷积神经网络进行分类；谢雨飞等用依存句法树对问题文本进行语义扩展，同时利用基于注意力机制的长短时记忆网络LSTM(Long and Short System)得到文本向量。但现有的深度学习问题分类方法也有以下问题：

第一：现有的深度学习模型使用的词向量并没有重点关注问题文本的疑问词特征和词性特征。和普通的文本分类不同，问题文本简短，包含的语义信息相对较少，所以问题文本中的疑问词和名词、动词对问题分类非常重要。

第二：现有的深度学习模型没有提取问题文本的潜在主题信息，只是用卷积神经网络或长短时记忆网络提取文本特征，并没有进一步挖掘问题文本的潜在主题信息；而且有的方法只是单一的使用卷积神经网络或者长短时记忆网络，并没有把两者的优势结合起来，卷积神经网络能够捕捉从数据中抽取深层语义特征，长短时记忆网络能够对文本的时序特征进行建模，保留文本的上下文语义信息。

发明内容

本发明实施方式的目的是提供一种基于多注意力机制的问题分类方法、系统及存储介质，该问题分类方法、系统及存储介质能够更加准确地对文本进行分类。

为了实现上述目的，本发明实施方式提供一种基于多注意力机制的问题分类方法，所述问题分类方法包括：

获取待分类的文本Q＝{q₁,…,q_n}；