[发明专利]特征词去重方法、装置、设备及其存储介质

权利要求书

1.一种特征词去重方法，其特征在于，该方法包括：

获取与特征词集合中当前特征词关联的词组集合；

基于与所述词组一一对应的ASCII码计算所述词组指定部分的和，得到第一和值集合；

通过判断所述第一和值集合中的最小值的个数来确定去重后的特征词。

2.根据权利要求1所述的方法，其特征在于，所述基于与所述词组一一对应的ASCII码计算所述词组指定部分的和，包括：

读取指定参数；

选择每个所述ASCII码中与指定参数对应的ASCII码值来求和，所述ASCII码包括与所述词组的字符一一对应的ASCII码值，所述指定参数的取值为小于等于N的正整数，N为所述词组集合中词组长度的最大值，所述词组长度为所述词组包含的字符总数。

3.根据权利要求1或2所述的方法，其特征在于，所述通过判断所述第一和值集合中的最小值的个数来确定去重后的特征词，包括：

判断所述第一和值集合中的所述最小值的个数是否唯一；

如果判断所述最小值的个数是不唯一的，则更新指定参数；然后，返回基于与所述词组一一对应的ASCII码计算所述词组指定部分的和，直到判断所述最小值的个数是唯一的；

如果判断所述最小值的个数是唯一的，则确定与该最小值对应的词组为去重后的特征词。

4.根据权利要求1所述的方法，其特征在于，该方法还包括：

获取至少一个特征词集合，每个所述特征词集合包括按照词频逆向文档频率TF-IDF算法从分词集合中提取的至少一个特征词；

根据预先构建的关联词词库扩展所述特征词，得到与该特征词关联的所述词组集合。

5.根据权利要求4所述的方法，其特征在于，所述关联词词库包括至少一种词组对应关系，所述词组对应关系是按照预先建立矩阵关系构建的。

6.根据权利要求4或5所述的方法，其特征在于，该方法还包括：

对原始数据进行分词处理；以及

利用停用词词库筛选所述分词处理的结果，得到所述分词集合。

7.一种特征词去重装置，其特征在于，该装置包括：

第一获取单元，用于获取与特征词集合中当前特征词关联的词组集合；

计算单元，用于基于与所述词组一一对应的ASCII码计算所述词组指定部分的和，得到第一和值集合；

确定单元，用于通过判断所述第一和值集合中的最小值的个数来确定去重后的特征词。

8.根据权利要求7所述的装置，其特征在于，所述计算单元，包括：

读取子模块，用于读取指定参数；

求和子模块，用于选择每个所述ASCII码中与指定参数对应的ASCII码值来求和，所述ASCII码包括与所述词组的字符一一对应的ASCII码值，所述指定参数的取值为小于等于N的正整数，N为所述词组集合中词组长度的最大值，所述词组长度为所述词组包含的字符总数。

9.根据权利要求7或8所述的装置，其特征在于，所述确定单元包括：

判断子模块，用于判断所述第一和值集合中的所述最小值的个数是否唯一；

更新子模块，用于如果判断所述最小值的个数是不唯一的，则更新指定参数；以及

返回子模块，用于返回基于与所述词组一一对应的ASCII码计算所述词组指定部分的和，直到判断所述最小值的个数是唯一的；

确定子模块，用于如果判断所述最小值的个数是唯一的，则确定与该最小值对应的词组为去重后的特征词。

10.根据权利要求7所述的装置，其特征在于，该装置还包括：

第二获取单元，用于获取至少一个特征词集合，每个所述特征词集合包括按照词频逆向文档频率TF-IDF算法从分词集合中提取的至少一个特征词；

扩展单元，用于根据预先构建的关联词词库扩展所述特征词，得到与该特征词关联的所述词组集合。