[发明专利]一种多义词向量的处理方法、系统、装置及介质

说明书

本发明公开了一种多义词向量的处理方法、系统、装置及介质。该方法获取包括批量单词的语料库数据；通过主题模型对所述单词进行学习，建立语义空间；获取包括所述多义词的文档，确定所述文档的第一隐语义分布；根据所述语句中各个单词的隐语义和所述第一隐语义分布，确定所述语句的第二隐语义分布；根据所述第二隐语义分布，确定所述多义词的词向量。本申请实施例无需大规模、高质量的人工标注信息即可以无监督地学习到多义词的词向量，且仅用单一的词向量即可同时包含多义词的多个语义，简化了数据结构，改善了自然语言处理中对多语义理解的性能。本发明可广泛应用于自然语言处理技术领域内。

技术领域

本发明涉及自然语言处理技术领域，尤其是一种多义词向量的处理方法、系统、装置及介质。

背景技术

在许多自然语言处理和文本建模任务中，单词嵌入已得到了广泛的使用，并被证明是有效的。如何通过向量来表示每个单词，并通过这些词嵌入向量之间的相关关系捕获单词之间的语义关系已经成为自然语言处理语义理解领域的一项重要基础研究工作。传统的一些研究工作是通过单一的词嵌入向量来表示单词，这可以提高许多自然语言理解任务的性能并提供单词识别的方法。这些词向量可用于通过计算相应词嵌入向量之间的距离来测量单词相似度。但是，由于同音异义和多义，仅用单个向量来对单个多义词建模显然是不足的。许多词在不同的上下文中具有不同的意义，在每种特殊的上下文中都可能表示一种语义。如何为具有多种语义的多义词构建多个语义向量成为近期一些研究工作的重点。

目前有许多研究工作着重于学习词向量，例如，有的工作是利用神经网络对传统的n-gram模型进行拓展；还有的工作提出了一种具有高计算效率的对数线性神经网络语言模型，即word2vector模型；另外GloVe模型是通过汇总全局单词-单词共现统计来获得单词的嵌入向量；而非负稀疏嵌入(NNSE)，它是矩阵分解的一种变体，可将词嵌入非负语义空间中，但没有考虑词多义性。可见大部分的已有工作都是为了将词嵌入进一个离散空间。与此同时，还有一部分工作通过不同技术在单词表示学习上花费了许多努力，例如BERT，在BERT的基础上还衍生出许多变体。然而，这种工作无法获得高度可解释性的词向量表示。

目前还有一种方法主要是利用人工设置多义词的语义数量，或者使用额外的知识库，例如WordNet和Wikipedia，来构造一个单词的多种含义，并根据预定义的知识库确定单词含义的数量。但是，这些模型的主要缺点是在实际应用中，模型很难确定多义词的语义数，或者过于依赖人工提供的知识库。综上所述，目前的方法体系无法获得高度可解释性的多义词表示向量，并且多义词向量的学习依赖于人工提供知识库来确定多义词的语义数量，这种方法目前亟需改进。

发明内容

本发明的目的在于至少一定程度上解决现有技术中存在的技术问题之一。

为此，本申请实施例的一个目的在于提供一种多义词向量的处理方法，该方法通过主题模型建立具有可解释性的高维语义空间，然后通过利用词语间的局部共现信息，获得多义词的语义成分，最终通过多义词的语义分布来表征其表示各个语义的概率值，使用单一向量来表示词语的多义性，提高了自然语言处理中多语义理解的性能。

本申请实施例的另一个目的在于提供词向量的处理系统。

为了达到上述技术目的，本申请实施例所采取的技术方案包括：

第一方面，本申请实施例提供了多义词向量的处理方法，包括以下步骤：

获取包括批量单词的语料库数据；所述单词包括多义词；

通过主题模型对所述单词进行学习，建立语义空间；所述语义空间包括若干维度的隐语义；

获取包括所述多义词的文档，确定所述文档的第一隐语义分布；所述文档含有至少一个包括所述多义词的语句；

根据所述语句中各个单词的隐语义和所述第一隐语义分布，确定所述语句的第二隐语义分布；