[发明专利]中文分词方法、装置、电子设备及存储介质

权利要求书

1.一种中文分词方法，其特征在于，包括：

对预置的多个语句进行字符分割，得到对应每个语句的多个单字符；

对于全部所述多个单字符中的任意单字符，执行操作：

从全部所述多个语句中确定与该单字符相邻的至少一个邻字符；

通过统计该单字符和每个邻字符各自在全部所述多个语句中出现的次数，估计该单字符和该邻字符共同出现在同一语句中的共现概率；

统计该单字符和该邻字符实际共同出现在同一语句中的共现频率，根据所述共现频率与所述共现概率的比例关系确定该单字符与该邻字符的信息凝聚度；

根据所述信息凝聚度确定该单字符与该邻字符之间的信息关系，根据所述信息关系对该单字符和该邻字符进行分词。

2.根据权利要求1所述的方法，其特征在于，所述从全部所述多个语句中确定与该单字符相邻的至少一个邻字符，包括：

从全部所述多个语句中确定有所述单字符出现的至少一个目标语句；

在该单字符对应的每个目标语句中，按照预设的窗口半径，确定该单字符的至少一个邻字符；

所述窗口半径指向获取所述邻字符的个数范围。

3.根据权利要求2所述的方法，其特征在于，所述按照预设的窗口半径，确定该单字符的至少一个邻字符，包括：

在所述每个目标语句中，向该单字符一侧获取不超过所述个数范围的第一邻字符；

向该单字符另一侧获取不超过所述个数范围的第二邻字符；

将全部所述第一邻字符和/或全部所述第二邻字符作为对应该单字符的所述邻字符。

4.根据权利要求1所述的方法，其特征在于，所述通过统计该单字符和每个邻字符各自在全部所述多个语句中出现的次数，估计该单字符和该邻字符共同出现在同一语句中的共现概率，包括：

基于所述单字符在全部所述多个语句中出现的次数，确定该单字符独自出现的第一独立频率；

对于所述每个邻字符，基于该邻字符在全部所述多个语句中出现的次数，确定该邻字符独自出现的第二独立频率；

将所述第一独立频率与所述第二独立频率之间的乘积作为所述共现概率。

5.根据权利要求1所述的方法，其特征在于，所述根据所述共现频率与所述共现概率的比例关系确定该单字符与该邻字符的信息凝聚度，包括：

确定所述共现频率与所述共现概率的比值；

根据所述比值确定所述信息凝聚度。

6.根据权利要求1所述的方法，其特征在于，所述根据所述信息凝聚度确定该单字符与该邻字符之间的信息关系，根据所述信息关系对该单字符和该邻字符进行分词，包括：

为所述信息凝聚度设置信息阈值；

将所述信息凝聚度与所述信息阈值比对；

响应于所述信息凝聚度小于等于所述信息阈值，确定所述单字符与所述邻字符互相之间的所述信息关系为信息独立关系；

响应于确定该单字符与该邻字符之间为信息独立关系，则不将该单字符与该邻字符划分为一个词组。

7.根据权利要求6所述的方法，其特征在于，所述将所述信息凝聚度与所述信息阈值比对之后，还包括：

响应于所述信息凝聚度大于所述信息阈值，确定所述单字符与所述邻字符之间的所述信息关系为信息包含关系；

响应于确定该单字符与该邻字符之间为信息包含关系，将该单字符与该邻字符划分为一个词组。