[发明专利]一种基于词典生成词向量的方法及系统

说明书

本发明涉及一种基于词典生成词向量的方法及系统，包括：将词典包含的词汇构成词汇集合，统计所述词汇集合中各词汇在所述词典包含的词汇释义中出现的频率，根据所述频率对各词汇释义进行分词，得到释义词汇序列；以所述词汇为节点，根据各词汇及释义词汇序列的对应关系，对各节点进行连接，构成有向边，并确定各有向边的权重，得到基于词典的有向图；基于深度游走算法对所述有向图进行计算，得到词向量。本发明将词典提供的词汇信息融合进词向量，能够为词向量训练提供优质的数据基础，进而更好地对词义进行挖掘、支撑自然语言处理任务。

技术领域

本发明涉及自然语言处理领域，尤其涉及一种基于词典生成词向量的方法及系统。

背景技术

将词语表示为向量的技术起源于20世纪60年代，随着用于信息检索的向量空间模型的发展，使用奇异值分解减少维数，然后在20世纪80年代后期引入潜在语义分析。随着技术的不断发展，词向量结合深度网络在现有的自然语言处理任务中有广泛应用，通常词向量都基于海量无标注语料产生，基本思路都是用文本中前后文预测当前词。语料是人工编写的，两个词义相近的词被用到的频率有时候是很不同的，这会导致频率低的词训练不充分，词义挖掘不足。词典是对词汇意义的解释，是最精炼、最准确的语义解释，因此，若能将词典提供的信息融合进入词向量里，则能很好地弥补上述现有技术中存在的缺陷。

发明内容

有鉴于此，本发明提供一种基于词典生成词向量的方法及系统，至少部分解决现有技术中存在的问题。本发明基于词典构造词汇有向图，基于深度游走算法对有向图进行计算，得到词向量，即将词典提供的词汇信息融合进词向量。

本发明具体为：

一种基于词典生成词向量的方法，包括：

将词典包含的词汇构成词汇集合，统计所述词汇集合中各词汇在所述词典包含的词汇释义中出现的频率，根据所述频率对各词汇释义进行分词，得到释义词汇序列；

以所述词汇为节点，根据各词汇及释义词汇序列的对应关系，对各节点进行连接，构成有向边，并确定各有向边的权重，得到基于词典的有向图；

基于深度游走算法对所述有向图进行计算，得到词向量。

进一步地，所述根据所述频率对各词汇释义进行分词，具体为：

将所述频率作为基于词典分词器的参数，利用分词算法对所述各词汇释义进行分词处理；该过程通常使用jieba分词。

进一步地，所述以所述词汇为节点，根据各词汇及释义词汇序列的对应关系，对各节点进行连接，构成有向边，具体为：

基于遍历算法，在所述各释义词汇序列中对各词汇进行遍历，当一个词汇在另一个词汇的释义词汇序列中时，则生成一条从所述另一个词汇出发到达该词汇的边，形成一条有向边；基于该过程对所述词汇集合中包含的所有词汇进行遍历，直到各节点的连接过程完毕。

进一步地，所述按规定确定各有向边的权重，具体为：

基于TF-IDF算法，将有向边对应的被指向词汇在所在的释义词汇序列中的权值作为该有向边的权重；算法公式为：tfidf＝tf*idf，tf为词频，即所述被指向词汇在所在的释义词汇序列中出现的频率，idf为逆向文档频率，即所述被指向词汇普遍重要性的度量。

本发明基于深度游走算法对所述有向图进行计算，得到词向量，深度游走算法是一种结合随机游走算法和word2vec模型的算法，随机游走是一种可重复访问已访问节点的深度优先遍历算法，每次遍历过程中，首先随机给定当前访问起始节点，从其邻居中随机采样节点作为下一个访问节点，重复此过程，直到访问序列长度满足预设条件，接着利用word2vec模型对通过随机游走算法遍历得到的各节点序列进行计算，得到词向量。

进一步地，所述基于深度游走算法对所述有向图进行计算，得到词向量，具体为：