[发明专利]一种分词的方法、装置及存储介质

权利要求书

1.一种分词的方法，其特征在于，包括：

获得待分词的字所在的模型训练字组，各个模型训练字组通过预先对样本中的任意字进行分析获得，每个模型训练字组对应一个分词模型；

利用所述待分词的字所在的模型训练字组对应的分词模型对所述待分词的字进行分词；

其中，所述各个模型训练字组通过预先对样本中的任意字进行训练获得，具体包括：

根据字与相邻字的相关性获得任意两个字的特征分布相关性；根据字向量获得所述任意两个字的语义相似度；根据字的权重参数向量获得所述任意两个字的构词规律相似性；

根据所述任意两个字的特征分布相关性、语义相似度和构词规律相似性获得综合相关性；

根据所述综合相关性确定所述任意两个字的模型训练字组，每个所述模型训练字组对应一个分词模型。

2.根据权利要求1所述的方法，其特征在于，所述根据字与相邻字的相关性获得任意两个字的特征分布相关性，包括：

获得所述任意两个字中第一个字A的i个相邻字，获得所述任意两个字中第二个字B的j个相邻字；

获得所述A的i个相邻字和所述B的j个相邻字中的相同相邻字的个数；

获得所述相同相邻字的个数与i和j中的较大值的比值作为所述任意两个字的特征分布相关性。

3.根据权利要求2所述的方法，其特征在于，在所述根据所述任意两个字的特征分布相关性、语义相似度和构词规律相似性获得综合相关性，之前还包括：

确定所述任意两个字的特征分布相关性小于预设值时，赋值所述任意两个字的特征分布相关性为0。

4.根据权利要求1所述的方法，其特征在于，所述根据字向量获得所述任意两个字的语义相似度，具体包括：

获得所述任意两个字中的第一个字A的字向量和所述任意两个字中第二个字B的字向量的余弦相似度作为所述任意两个字的语义相似度。

5.根据权利要求1所述的方法，其特征在于，所述根据字的权重参数向量获得所述任意两个字的构词规律相似性，具体包括：

利用多模型分词方法训练得到的所述任意两个字中第一个字A的权重参数向量和所述任意两个字中第二个字B的权重参数向量；

获得所述任意两个字中第一个字A的权重参数向量和所述任意两个字中所述第二个字B的权重参数向量的余弦相似度作为所述任意两个字的构词规律相似性。

6.根据权利要求1-5任一项所述的方法，其特征在于，所述根据所述综合相关性确定所述任意两个字的模型训练字组，具体包括：

当所述综合相关性大于或等于预设综合阈值时，确定所述任意两个字中有一个字属于已有的模型训练字组，则将另一个字也划分到同一个模型训练字组，反之为所述任意两个字新建一个模型训练字组；

当所述综合相关性小于所述预设综合阈值时，为所述任意两个字中未被分组的字新建模型训练字组。

7.一种分词的装置，其特征在于，包括：

模型训练字组确定模块，用于获得待分词的字所在的模型训练字组；各个模型训练字组为模型训练字组获取模块预先对样本中的任意字进行分析获得的，每个模型训练字组对应一个分词模型；

分词模块，用于利用所述待分词的字所在的模型训练字组对应的分词模型对所述待分词的字进行分词；

其中，所述模型训练字组获取模块，具体包括：

第一获取单元，用于根据字与相邻字的相关性获得任意两个字的特征分布相关性；

第二获取单元，用于根据字向量获得所述任意两个字的语义相似度

第三获取单元，用于根据字的权重参数向量获得所述任意两个字的构词规律相似性；

第四获取单元，用于根据所述任意两个字的特征分布相关性、语义相似度和构词规律相似性获得综合相关性；

模型训练字组获取单元，用于根据所述综合相关性确定所述任意两个字的模型训练字组，每个所述模型训练字组对应一个分词模型。

8.一种计算机可读存储介质，其特征在于，所述计算机可读存储介质中存储有计算机程序，当所述程序被处理器运行时，实现如权利要求1-6任一项所述的分词的方法。