[发明专利]一种自然语言文本关键词关联网络构建方法

说明书

技术领域

本发明属于自然语言处理技术领域，更具体地说，特别涉及一种自然语言文本关键词关联网络构建方法。

背景技术

一般情况下，对海量科技项目数据处理或者专家信息数据总结评价，借助计算机处理显得尤为必要，在自然语言处理技术中，由于中文自身的语言特点，中文处理比以拉丁语系为主的西文处理要复杂得多。而使得计算机能够处理自然语言的一个前提是文本量化。文本量化的一个处理手段是提取文本内容中的特征词，即从各类科技文献、科技项目立项和评审等文本材料中抽取出行业或领域关键词，再通过关键词匹配等构建文本之间的关联网络。

对于中文处理来说，关键词提取的一个前提是对文本进行分词，在进行分词操作得到词表后，当前最常用的词表示方法是把每个词表示为一个很长的向量，向量的维度是词表大小，其中绝大多数元素为0，只有一个维度的值为1，这个维度就代表了当前的词，即对文本中的每个词赋予了一个数字编码。该方法为稀疏方式存储，非常简洁实用。但是，任意两个词之间都是孤立的，向量无法表示词之间的关系。因此，不同字组成的同义词，例如“话筒”和“麦克风”，通过这种表示方法无法体现其相同的意义。这就导致了有时关联度很高的关键词不会被识别，使得构建的关联网络精度不高。

发明内容

本发明要解决的技术问题是提供一种自然语言文本关键词关联网络构建方法，用以解决上述技术问题。

为此，本发明提供了一种自然语言文本关键词关联网络构建方法，包括步骤：

步骤A，构建关键词的词典，根据所述词典对目标语料库进行分词操作，得到多个词；

步骤B，对得到的多个词基于N元统计语言模型统计前后词关联出现的频度；

步骤C，以统计出的频度为训练条件，采用神经网络训练语言模型，并获得词向量；

步骤D，计算两个词的词向量的相似度，作为两个词语义相关性的度量，生成两个词之间语义关联度；

步骤E，根据所述语义关联度，按照两个词之间的所述语义关联度的高低，生成文本关键词关联网络。

其中，所述步骤A中构建关键词的词典包括步骤：

通过爬虫技术爬取目标语料库中的关键词信息，将得到的多个关键词汇总为词典。

其中，所述步骤A中根据所述词典对目标语料库进行分词操作包括：

基于字符串匹配进行分词，以及基于语义理解进行分词和/或基于字相邻共现频度统计进行分词。

其中，所述步骤C中获得词向量包括获得维度小于等于100的低维实数向量。

其中，所述步骤B中对得到的多个词基于N元统计语言模型统计前后词关联出现的频度包括步骤：

对切分后的多个词，按照相邻出现的1、2···N个词为一个元组，进行元组划分，统计每个词在前N-1个词出现的条件下出现的概率。

其中，所述步骤C中采用神经网络训练语言模型包括：

采用三层的神经网络训练语言模型，将前N-1个向量首尾相接拼起来，形成一个(N-1)m维的向量，作为所述神经网络的第一层，m为所述词向量的维度；

使用d+Hx计算得到第二层，并使用tanh作为激活函数，d是一个偏置项；

第三层输出V个节点yi，后使用softmax激活函数将输出值y归一化成概率，yi表示下一个词为i的未归一化log概率，y的计算公式为：

y＝b+Wx+Utanh(d+Hx)

其中U是第二层到第三层的参数，b也为一个偏置项；

用随机梯度下降法把所述语言模型优化出来。

其中，所述步骤D中计算两个词的词向量的相似度包括计算两个词的词向量的余弦距离。

本发明提供了一种自然语言文本关键词关联网络构建方法，对中文自然语言文本进行分词后，基于N元统计语言模型统计前后词关联出现的频度，以统计出的频度为训练条件，采用神经网络训练语言模型，并获得词向量，以两个词向量的相似度，度量两个词之间语义关联度，进而构建关联网络，即将中文的语义信息通过概率统计的方式，结合神经网络进行语言模型的训练，量化为词向量信息，这样构建的关联网络，结合了语义信息，相比单纯的对不同字词进行编码不考虑语义的关联方式，显然本发明提供的关联网络的精度更高。

附图说明

为了更清楚地说明本发明实施例或现有技术中的技术方案，下面将对实施例或现有技术描述中所需要使用的附图作简单地介绍，显而易见地，下面描述中的附图仅仅是本发明的一些实施例，对于本领域普通技术人员来讲，在不付出创造性劳动的前提下，还可以根据这些附图获得其他的附图。