[发明专利]一种基于高斯分布的词向量生成方法

说明书

本发明公开了一种基于高斯分布的词向量生成方法，首先对语料库进行预处理；其次使用标点符号对语料库划分上下文；然后结合局部和全局信息推断词义，确定词与词义的映射关系；最后通过优化目标函数获得词向量。本发明技术方案的创新点和有益效果在于：1、基于高斯分布来表示词，避免传统词向量的点估计特性，能为词向量带来概率质量，词义蕴含、包含关系等更为丰富的信息。2、使用多个高斯分布来表示词，能够应对自然语言中一词多义的语言特性。3、基于Hellinger距离定义高斯分布之间的相似性，将参数更新和词义判别结合起来，能够自适应地推断词义的数量，解决了现有技术模型的假定词义数量固定的问题。

技术领域

本发明涉及自然语言处理领域，具体涉及了一种基于高斯分布的词向量生成方法。

背景技术

词向量是自然语言处理(Natural Language Processing,NLP)中针对词进行数学建模的方法。最早的词向量表示法是独热码(One-Hot)，独热码将每个词表示为一个高维的向量，向量中为1的位置即是该词在字典中的索引。独热码具有维度高，稀疏，语义和语法信息被忽略等缺点。随着深度学习的发展，出现了利用神经网络来训练词向量的方法。基于神经网络的词向量模型针对词的共现(co–occurrence)情况，捕获上下文的语法和语义信息，将词表示为低维度，稠密的实值向量。词向量常作为特征被广泛应用于文本分类，命名实体识别，机器翻译等NLP任务，以帮助提升实际的NLP任务效果。

目前，主要的词向量模型都将词嵌入到欧几里得空间(Euclidean space)，使用欧式空间的向量来表示词。比较流行的工具包，如文献[1]和[2]中的Word2Vec模型，文献[3]中的Glove模型都是基于这种思路。尽管将词映射到欧式空间能够捕获上下文中的语义和语法信息，但是这种思路不能捕获词向量在空间中的概率分布等不确定性信息。

现有的多义词向量模型都基于点估计的词向量模型扩展而来。Liu等人在文献[4]中，假定每个词都有k个词义，然后利用潜在的主题模型LDA推断词的主题，然后针对主题-词对共同训练获得包含主题信息的词向量。Chen等人在文献[5]中先使用word2vec进行语料的预训练，在此基础上利用WordNet(英文词汇数据库)推断特定上下文中的词义。现有的模型都假定词义数量固定，这明显不符合不同词拥有的词义数量不同的自然语言特性。

[1]Mikolov T,Chen K,Corrado G,et al.Efficient Estimation of WordRepresentations in Vector Space[J].Computer Science,2013.

[2]Mikolov T,Sutskever I,Chen K,et al.Distributed representations ofwords and phrases and their compositionality[C].International Conference onNeural Information Processing Systems.Curran Associates Inc.2013:3111-3119.

[3]Pennington J,Socher R,Manning C.Glove:Global Vectors for WordRepresentation[C].Conference onEmpirical Methods in Natural LanguageProcessing.2014:1532-1543.

[4]Liu Y,Liu Z,Chua T S,et al.Topical word embeddings[C].Twenty-NinthAAAI Conference on Artificial Intelligence.AAAI Press,2015:2418-2424.