[发明专利]自然语言文本关键词关联网络构建系统

权利要求书

1.一种自然语言文本关键词关联网络构建系统，其特征在于，包括分词模块、统计模块、训练模块、关联度计算模块和生成模块；

所述分词模块，用于构建关键词的词典，根据所述词典对目标语料库进行分词操作，得到多个词；

所述统计模块，用于对得到的多个词基于N元统计语言模型统计前后词关联出现的频度；

所述训练模块，用于以统计出的频度为训练条件，采用神经网络训练语言模型，并获得词向量；

所述关联度计算模块，用于计算两个词的词向量的相似度，作为两个词语义相关性的度量，生成两个词之间语义关联度；

所述生成模块，用于根据所述语义关联度，按照两个词之间的所述语义关联度的高低，生成文本关键词关联网络。

2.根据权利要求1所述的自然语言文本关键词关联网络构建系统，其特征在于，所述分词模块包括构建词典子模块；

所述构建词典子模块，用于通过爬虫技术爬取目标语料库中的关键词信息，将得到的多个关键词汇总为词典。

3.根据权利要求2所述的自然语言文本关键词关联网络构建系统，其特征在于，所述分词模块还包括用于基于字符串匹配进行分词的第一分词子模块，以及用于基于语义理解进行分词的第二分词子模块和/或用于基于字相邻共现频度统计进行分词的第三分词子模块。

4.根据权利要求1所述的自然语言文本关键词关联网络构建系统，其特征在于，所述词向量为维度小于等于100的低维实数向量。

5.根据权利要求1所述的自然语言文本关键词关联网络构建系统，其特征在于，所述统计模块包括元组划分模块；

所述元组划分模块，用于对切分后的多个词，按照相邻出现的1、2···N个词为一个元组，进行元组划分，统计每个词在前N-1个词出现的条件下出现的概率。

6.根据权利要求1所述的自然语言文本关键词关联网络构建系统，其特征在于，所述训练模块，用于：

采用三层的神经网络训练语言模型，将前N-1个向量首尾相接拼起来，形成一个(N-1)m维的向量，作为所述神经网络的第一层，m为所述词向量的维度；

使用d+Hx计算得到第二层，并使用tanh作为激活函数，d是一个偏置项；

第三层输出V个节点y_i，后使用softmax激活函数将输出值y归一化成概率，y_i表示下一个词为i的未归一化log概率，y的计算公式为：

y＝b+Wx+Utanh(d+Hx)

其中U是第二层到第三层的参数，b也为一个偏置项；

用随机梯度下降法把所述语言模型优化出来。

7.根据权利要求1所述的自然语言文本关键词关联网络构建系统，其特征在于，所述关联度计算模块，用于计算两个词的词向量的余弦距离。