[发明专利]中文分词方法、装置、电子设备及存储介质

说明书

本申请提供一种中文分词方法、装置、电子设备及存储介质；该方法包括：对多个语句进行字符分割，得到对应每个语句的多个单字符；对于全部多个单字符中的任意单字符：从全部多个语句中确定与该单字符相邻的至少一个邻字符；通过统计该单字符和每个邻字符各自在全部多个语句中出现的次数，估计该单字符和该邻字符共同出现在同一语句中的共现概率；统计该单字符和该邻字符实际共同出现在同一语句中的共现频率，根据共现频率与共现概率的比例关系确定该单字符与该邻字符的信息凝聚度；当信息凝聚度大于预设的信息阈值，将该单字符与该邻字符拼接为一个词组。本方法通过利用字符之间的概率关系来有效表征互相之间具有的信息包含关系，以实现分词操作。

技术领域

本发明涉及文本的语义识别的技术领域，尤其涉及一种中文分词方法、装置电子设备及存储介质。

背景技术

相关的中文分词方法往往依靠深度学习或者其他机器学习等方式对各类人工智能模型进行训练，其存在的主要问题在于：一方面需要大量的数据作为支撑，另一方面，需要消耗大量的运算资源，这使得人工智能模型实际生产中的应用受到极大限制。

基于此，需要一种能够实现摆脱以消耗大量运算资源的方式来进行分词操作的方案。

发明内容

有鉴于此，本发明实施例提供了一种中文分词方法、装置、电子设备及存储介质，以解决依靠深度学习或者其他机器学习等消耗大量运算资源的方式来进行分词的问题。

基于上述目的，本申请提供了一种中文分词方法，包括：

对预置的多个语句进行字符分割，得到对应每个语句的多个单字符；

对于全部所述多个单字符中的任意单字符，执行操作：

从全部所述多个语句中确定与该单字符相邻的至少一个邻字符；

通过统计该单字符和每个邻字符各自在全部所述多个语句中出现的次数，估计该单字符和该邻字符共同出现在同一语句中的共现概率；

统计该单字符和该邻字符实际共同出现在同一语句中的共现频率，根据所述共现频率与所述共现概率的比例关系确定该单字符与该邻字符的信息凝聚度；

根据所述信息凝聚度确定该单字符与该邻字符之间的信息关系，根据所述信息关系对该单字符和该邻字符进行分词。

进一步地，从全部所述多个语句中确定与该单字符相邻的至少一个邻字符，包括：

从全部所述多个语句中确定有所述单字符出现的至少一个目标语句；

在该单字符对应的每个目标语句中，按照预设的窗口半径，确定该单字符的至少一个邻字符；

所述窗口半径指向获取所述邻字符的个数范围。

进一步地，按照预设的窗口半径，确定该单字符的至少一个邻字符，包括：

在所述每个目标语句中，向该单字符一侧获取不超过所述个数范围的第一邻字符；

向该单字符另一侧获取不超过所述个数范围的第二邻字符；

将全部所述第一邻字符和/或全部所述第二邻字符作为对应该单字符的所述邻字符。

进一步地，通过统计该单字符和每个邻字符各自在全部所述多个语句中出现的次数，估计该单字符和该邻字符共同出现在同一语句中的共现概率，包括：

基于所述单字符在全部所述多个语句中出现的次数，确定该单字符独自出现的第一独立频率；

对于所述每个邻字符，基于该邻字符在全部所述多个语句中出现的次数，确定该邻字符独自出现的第二独立频率；

将所述第一独立频率与所述第二独立频率之间的乘积作为所述共现概率。