[发明专利]分词处理的方法、装置、设备以及存储介质

权利要求书

1.一种分词处理方法，包括：

依据目标文本中至少一个分词的分词词频和分词自由度，确定第一分词处理结果，其中，所述分词词频用于表征任意一个所述分词在所述目标文本中出现的频次，所述自由度用于表征任意一个所述分词在所述目标文本中独立或自由的程度；

基于获取到的所述目标文本中每个所述分词的左右熵与互信息的加总值，确定第二分词处理结果，其中，所述左右熵与所述互信息用于筛选出所述目标文本中的目标分词；

基于所述第一分词处理结果和所述第二分词处理结果，计算得到目标分词处理结果。

2.根据权利要求1所述的方法，其中，在依据目标文本至少一个分词词频和分词自由度，确定第一分词处理结果之前，所述方法还包括：

采用词法分析算法对所述目标文本进行分词处理，得到多个所述分词，其中，所述词法分析算法用于将所述目标文本划分为分词，以及识别每个所述分词的词性；

采用统计语言算法对多个所述分词进行整合，得到分词整合结果。

3.根据权利要求2所述的方法，其中，在采用统计语言算法对多个所述分词进行整合，得到分词整合结果之前，所述方法还包括：

基于所述词性过滤掉多个所述分词中的无效词，其中，所述无效词包括以下至少之一：助词、连词、副词、叹词、介词、语气词、标点符号。

4.根据权利要求2所述的方法，其中，所述依据目标文本中多个分词的分词词频和分词自由度，确定第一分词处理结果，包括：

依据所述分词词频对所述分词整合结果进行第一过滤处理，得到过滤处理结果，其中，所述第一过滤处理用于过滤掉所述分词整合结果中分词词频低于词频阈值的分词；

基于所述过滤处理结果中不同分词的分词自由度，对所述过滤处理结果进行第二过滤处理，得到第一分词处理结果，其中，所述第二过滤处理用于过滤掉所述过滤处理结果中的分词自由度低于自由度阈值的分词。

5.根据权利要求1所述的方法，其中，所述基于获取到的所述目标文本中每个所述分词的左右熵与互信息的加总值，确定第二分词处理结果，包括：

计算所述目标文本中每个所述分词的左右熵与互信息的加总值；

从多个所述分词中过滤掉所述加总值小于加总阈值的所述分词，得到所述第二分词处理结果。

6.根据权利要求1所述的方法，其中，所述基于所述第一分词处理结果和所述第二分词处理结果，计算得到目标分词处理结果，包括：

获取所述第一分词处理结果和所述第二分词处理结果的交集数据；

将所述交集数据作为所述目标分词处理结果。

7.根据权利要求4所述的方法，其中，所述依据所述分词词频对所述分词整合结果进行第一过滤处理，得到过滤处理结果，包括：

采用基于信息检索的加权算法依据所述分词词频对所述分词整合结果进行第一过滤处理，得到所述过滤处理结果。

8.一种分词处理装置，包括：

第一确定模块，用于依据目标文本中至少一个分词的分词词频和分词自由度，确定第一分词处理结果，其中，所述分词词频用于表征任意一个所述分词在所述目标文本中出现的频次，所述自由度用于表征任意一个所述分词在所述目标文本中独立或自由的程度；

第二确定模块，用于基于获取到的所述目标文本中每个所述分词的左右熵与互信息的加总值，确定第二分词处理结果，其中，所述左右熵与所述互信息用于筛选出所述目标文本中的目标分词；

分词处理模块，用于基于所述第一分词处理结果和所述第二分词处理结果，计算得到目标分词处理结果。

9.根据权利要求8所述的装置，其中，所述装置还包括：

分词处理模块，用于采用词法分析算法对所述目标文本进行分词处理，得到多个所述分词，其中，所述词法分析算法用于将所述目标文本划分为分词，以及识别每个所述分词的词性；

整合模块，用于采用统计语言算法对多个所述分词进行整合，得到分词整合结果。