[发明专利]一种基于词典生成词向量的方法及系统

权利要求书

1.一种基于词典生成词向量的方法，其特征在于，包括：

将词典包含的词汇构成词汇集合，统计所述词汇集合中各词汇在所述词典包含的词汇释义中出现的频率，根据所述频率对各词汇释义进行分词，得到释义词汇序列；

以所述词汇为节点，根据各词汇及释义词汇序列的对应关系，对各节点进行连接，构成有向边，并确定各有向边的权重，得到基于词典的有向图；

基于深度游走算法对所述有向图进行计算，得到词向量。

2.根据权利要求1所述的方法，其特征在于，所述根据所述频率对各词汇释义进行分词，具体为：

将所述频率作为基于词典分词器的参数，利用分词算法对所述各词汇释义进行分词处理。

3.根据权利要求2所述的方法，其特征在于，所述以所述词汇为节点，根据各词汇及释义词汇序列的对应关系，对各节点进行连接，构成有向边，具体为：

基于遍历算法，在所述各释义词汇序列中对各词汇进行遍历，当一个词汇在另一个词汇的释义词汇序列中时，则生成一条从所述另一个词汇出发到达该词汇的边，形成一条有向边；基于该过程对所述词汇集合中包含的所有词汇进行遍历，直到各节点的连接过程完毕。

4.根据权利要求3所述的方法，其特征在于，所述按规定确定各有向边的权重，具体为：

基于TF-IDF算法，将有向边对应的被指向词汇在所在的释义词汇序列中的权值作为该有向边的权重。

5.根据权利要求4所述的方法，其特征在于，所述基于深度游走算法对所述有向图进行计算，得到词向量，具体为：

基于随机游走算法对所述有向图进行遍历计算，在一次遍历过程中，首先给定对所述有向图进行访问的起始节点，根据所述起始节点包含的有向边的权重，选择对应有向边指向的节点为下一个访问点，直到访问序列长度满足预设条件；

利用word2vec模型对经过上述遍历计算后得到的所有节点序列进行向量化计算，得到词向量。

6.一种基于词典生成词向量的系统，其特征在于，包括：

释义词汇序列生成模块，用于将词典包含的词汇构成词汇集合，统计所述词汇集合中各词汇在所述词典包含的词汇释义中出现的频率，根据所述频率对各词汇释义进行分词，得到释义词汇序列；

有向图生成模块，用于以所述词汇为节点，根据各词汇及释义词汇序列的对应关系，对各节点进行连接，构成有向边，并确定各有向边的权重，得到基于词典的有向图；

词向量生成模块，用于基于深度游走算法对所述有向图进行计算，得到词向量。

7.根据权利要求6所述的系统，其特征在于，所述根据所述频率对各词汇释义进行分词，具体为：

将所述频率作为基于词典分词器的参数，利用分词算法对所述各词汇释义进行分词处理。

8.根据权利要求7所述的系统，其特征在于，所述以所述词汇为节点，根据各词汇及释义词汇序列的对应关系，对各节点进行连接，构成有向边，具体为：

基于遍历算法，在所述各释义词汇序列中对各词汇进行遍历，当一个词汇在另一个词汇的释义词汇序列中时，则生成一条从所述另一个词汇出发到达该词汇的边，形成一条有向边；基于该过程对所述词汇集合中包含的所有词汇进行遍历，直到各节点的连接过程完毕。

9.根据权利要求8所述的系统，其特征在于，所述按规定确定各有向边的权重，具体为：

基于TF-IDF算法，将有向边对应的被指向词汇在所在的释义词汇序列中的权值作为该有向边的权重。

10.根据权利要求9所述的系统，其特征在于，所述词向量生成模块具体用于：

基于随机游走算法对所述有向图进行遍历计算，在一次遍历过程中，首先给定对所述有向图进行访问的起始节点，根据所述起始节点包含的有向边的权重，选择对应有向边指向的节点为下一个访问点，直到访问序列长度满足预设条件；

利用word2vec模型对经过上述遍历计算后得到的所有节点序列进行向量化计算，得到词向量。