[发明专利]双阶段语义词向量生成方法

说明书

本发明提供了双阶段语义词向量生成方法，该方法包括5个步骤：文本矩阵化；特征提取器的构建；语义识别；神经语言模型的构建；义项词向量的生成。本发明使用多个神经网络为多义词的不同语义生成了对应的词向量，解决了传统词级嵌入式中多义词只对应一个词向量的缺陷，且使用的语料库大小在可接受范围内；同时采用卷积神经网络(CNN)和支持向量机(SVM)结合的方式，一方面利用了卷积神经网络的特征提取能力，一方面利用了SVM的泛化性以及鲁棒性，使得词义识别的效果更优，从而使得生成的语义词向量质量更高。

技术领域

本发明属于神经网络领域，具体涉及一种双阶段语义词向量生成方法。

背景技术

词的表示问题是自然语言处理中的关键问题之一。词的表示方法是否适当，直接影响着句法分析、语义表示和篇章理解等任务的建模方法，也影响着信息检索、问答系统等应用系统的准确性和鲁棒性。

目前中文词的表示策略可以归纳为3种：传统的0-1表示，基于潜在语义信息的分布式表示和基于神经网络语言模型的分布式表示。传统的0-1表示有两方面问题：一方面0-1表示造成了数据稀疏，使得该种方式生成的词向量占用大量的空间；另一方面0-1表示只能区分不同的词语，但对于词义的表示没有任何贡献。基于神经网络语言模型很好地解决了维度灾害等问题，代表性工具有Word2vec、glove等。但是它仍在存在另一个问题，它是一种词级表示方式，即只为一个词语生成一个词向量，而不能为多义词的不同词义生成不同的词向量，这会对下游任务造成一定的干扰，从而影响下游任务的效果。于是词义级表示方式开始被研究，它根据词语在语料中的语义为其生成特定的语义词向量。

目前，词义嵌入类的模型主要有两类：双阶段型和融合型。在双阶段型中，词义识别过程和词向量生成过程是串行的，而融合型模型则在词向量生成过程中完成词义的识别。国外最早使用双阶段模式的是Schutze，他在1998年提出了上下文分组识别，以期望最大化为目标进行聚类来识别词义，然后生成词义向量。2010年，Reisinger和Moone将上下文表示为一元语法的特征向量，采用MovFV聚类的方法来完成词义识别。Sense2vec工具对词语添加了词性信息，以区分同义词的不同词义，但是它没有考虑不同词义的词性可能相同。后续双阶段模型的思路都与以上方法类似，都是在词义识别算法或文本建模方面进行优化。融合型模型利用词义识别和词向量生成本质上都需要对文本上下文进行计算的共通性，将两个过程合并为一个，以减小计算消耗。Neelakantan在Word2vec模型的基础上进行扩展，为每个多义词初始化固定数量的词向量，然后在语言模型的训练过程中选择合适的词向量进行更新。这一方法最大的限制在于它假设每个多义词具有相同数量的词义，而这一假设与事实悬殊较大。Yang Liu等人发现词向量生成过程中仅利用了词语的局部信息，对于全局信息并没有使用，所以他们利用这一缺陷，在词向量生成过程中加入文本的主题信息，提出了TWE模型来生成语义词向量。

近年来涌现了ELMo、GPT、Bert等利用深度学习模型以及大语料库进行语言模型训练的模型。ELMo使用LSTM进行语言模型建模，模型训练完成后，对于下游任务，先将其文本输入ELMo模型，然后使用网络前3层的输出共同进行词表示。Bert则使用当前较流行的Transformer进行建模，并且使用更大的语料库进行模型训练，而下游任务直接在此训练好的模型上进行微调即可，只是在输入输出方面需要稍作修改。这些模型虽然被证明在许多NLP任务上表现很好，但是它们并没有生成具体的词向量，缺少应用灵活性。

目前，国内在词表示方面和词向量生成工具方面的研究较少，曾琦利用LDA模型对主题进行建模并对多义词进行语义标注。孙茂松利用中文知识库HowNet得到义原向量来进行进一步的词向量的学习。李国佳在词义识别阶段使用了K-Means聚类构建了一个双阶段模型，该方法的缺点与Neelakantan的方法类似，需要提前为K-Means算法设定中心簇数目，相当于需要提前确定词义生成的个数，可扩展性不够好。