[发明专利]自然语言文本关键词关联网络构建系统

说明书

技术领域

本发明属于自然语言处理技术领域，更具体地说，特别涉及一种自然语言文本关键词关联网络构建系统。

背景技术

一般情况下，对海量科技项目数据处理或者专家信息数据总结评价，借助计算机处理显得尤为必要，在自然语言处理技术中，由于中文自身的语言特点，中文处理比以拉丁语系为主的西文处理要复杂得多。而使得计算机能够处理自然语言的一个前提是文本量化。文本量化的一个处理手段是提取文本内容中的特征词，即从各类科技文献、科技项目立项和评审等文本材料中抽取出行业或领域关键词，再通过关键词匹配等构建文本之间的关联网络。

对于中文处理来说，量化关联度的一个前提是对文本进行分词，在进行分词操作得到词表后，当前最常用的词表示方法是把每个词表示为一个很长的向量，向量的维度是词表大小，其中绝大多数元素为0，只有一个维度的值为1，这个维度就代表了当前的词，即对文本中的每个词赋予了一个数字编码。该系统为稀疏方式存储，非常简洁实用。但是，任意两个词之间都是孤立的，向量无法表示词之间的关系。因此，不同字组成的同义词，例如“话筒”和“麦克风”，通过这种表示方法无法体现其相同的意义。这就导致了有时关联度很高的关键词不会被识别，使得构建的关联网络精度不高。

发明内容

本发明要解决的技术问题是提供一种自然语言文本关键词关联网络构建系统，用以解决上述技术问题。

本发明提供了一种自然语言文本关键词关联网络构建系统，包括分词模块、统计模块、训练模块、关联度计算模块和生成模块；

所述分词模块，用于构建关键词的词典，根据所述词典对目标语料库进行分词操作，得到多个词；

所述统计模块，用于对得到的多个词基于N元统计语言模型统计前后词关联出现的频度；

所述训练模块，用于以统计出的频度为训练条件，采用神经网络训练语言模型，并获得词向量；

所述关联度计算模块，用于计算两个词的词向量的相似度，作为两个词语义相关性的度量，生成两个词之间语义关联度；

所述生成模块，用于根据所述语义关联度，按照两个词之间的所述语义关联度的高低，生成文本关键词关联网络。

其中，所述分词模块包括构建词典子模块；

所述构建词典子模块，用于通过爬虫技术爬取目标语料库中的关键词信息，将得到的多个关键词汇总为词典。

其中，所述分词模块还包括用于基于字符串匹配进行分词的第一分词子模块，以及用于基于语义理解进行分词的第二分词子模块和/或用于基于字相邻共现频度统计进行分词的第三分词子模块。

其中，所述词向量为维度小于等于100的低维实数向量。

其中，所述统计模块包括元组划分模块；

所述元组划分模块，用于对切分后的多个词，按照相邻出现的1、2···N个词为一个元组，进行元组划分，统计每个词在前N-1个词出现的条件下出现的概率。

其中，所述训练模块，用于：

采用三层的神经网络训练语言模型，将前N-1个向量首尾相接拼起来，形成一个(N-1)m维的向量，作为所述神经网络的第一层，m为所述词向量的维度；

使用d+Hx计算得到第二层，并使用tanh作为激活函数，d是一个偏置项；

第三层输出V个节点yi，后使用softmax激活函数将输出值y归一化成概率，yi表示下一个词为i的未归一化log概率，y的计算公式为：

y＝b+Wx+Utanh(d+Hx)

其中U是第二层到第三层的参数，b也为一个偏置项；

用随机梯度下降法把所述语言模型优化出来。

其中，所述关联度计算模块，用于计算两个词的词向量的余弦距离。

本发明提供了一种自然语言文本关键词关联网络构建系统，分词模块对中文自然语言文本进行分词后，统计模块基于N元统计语言模型统计前后词关联出现的频度，训练模块以统计出的频度为训练条件，采用神经网络训练语言模型，并获得词向量，以两个词向量的相似度，度量两个词之间语义关联度，进而构建关联网络，即将中文的语义信息通过概率统计的方式，结合神经网络进行语言模型的训练，量化为词向量信息，这样构建的关联网络，结合了语义信息，相比单纯的对不同字词进行编码而不考虑语义的关联方式，显然关联的精度更高。

附图说明