[发明专利]一种文本处理方法及装置

权利要求书

1.一种文本处理方法，其特征在于，包括：

确定多个文本中的重复字符串；

从所述重复字符串中筛选不包含已有独立词汇的候选字符串；

基于所述候选字符串的长度、所述候选字符串中每个字符对应的第一词汇在所述多个文本中出现的概率，和每个字符对应的第二词汇在所述多个文本中出现的概率，确定所述候选字符串是否能够形成一个新的独立词汇；所述第一词汇为对应的字符和候选字符串中该字符的前一个字符形成的词汇，所述第二词汇为对应的字符和候选字符串中该字符的后一个字符形成的词汇。

2.根据权利要求1所述的文本处理方法，其特征在于，所述从所述重复字符串中筛选不包含已有独立词汇的候选字符串，包括：

基于所述重复字符串中每个字符对应的第三词汇在所述多个文本中出现的概率，和每个字符对应的第四词汇在所述多个文本中出现的概率，确定所述重复字符串中的独立词汇；所述第三词汇为对应的字符和重复字符串中该字符的前一个字符形成的词汇，所述四词汇为对应的字符和重复字符串中该字符的后一个字符形成的词汇；

从所述重复字符串中的除所述独立词汇以外的字符串中，筛选所述候选字符串。

3.根据权利要求2所述的文本处理方法，其特征在于，所述从所述重复字符串中的除所述独立词汇以外的字符串中，筛选所述候选字符串，包括：

从所述重复字符串中，获取除所述独立词汇以外的字符串，得到待选字符串；

从所述待选字符串中，选取包含的字符的数量大于预定数值的待选字符串，得到所述候选字符串。

4.根据权利要求2所述的文本处理方法，其特征在于，所述基于所述重复字符串中每个字符对应的第三词汇在所述多个文本中出现的概率，和每个字符对应的第四词汇在所述多个文本中出现的概率，确定所述重复字符串中的独立词汇，包括：

获取预设的第一阈值；

针对所述重复字符串中除首字符和尾字符以外的每个字符，计算该字符对应的第三词汇在所述多个文本中出现的概率，与该字符对应的第四词汇在所述多个文本中出现的概率的比值，得到该字符对应的成词比率；

筛选成词比率大于所述第一阈值的字符，并根据筛选得到字符确定所述重复字符串中的独立词汇。

5.根据权利要求4所述的文本处理方法，其特征在于，所述根据筛选得到字符确定所述重复字符串中的独立词汇，包括：

若筛选得到的字符的数量为一个，则将筛选得到的字符、重复字符串中该字符的前一个字符、和重复字符串中该字符的后一个字符组成的字符串作为所述独立词汇；

若筛选得到的字符的数量为多个，并且筛选得到的字符在所述重复字符串中连续排列，则将筛选得到的字符、筛选得到的字符中的第一字符的前一个字符、和筛选得到的字符中的最后一字符的后一个字符组成的字符串作为所述独立词汇；

若筛选得到的字符的数量为多个，并且筛选得到的字符在所述重复字符串中不连续排列，则针对每个筛选得到字符，将该字符、重复字符串中该字符的前一个字符、和重复字符串中该字符的后一个字符组成的字符串作为该字符对应的独立词汇。

6.根据权利要求2所述的文本处理方法，其特征在于，还包括：

若所述重复字符串包括两个字符，则将所述重复字符串作为所述独立词汇。

7.根据权利要求2所述的文本处理方法，其特征在于，在确定所述新的独立词汇之前，还包括：

从确定的独立词汇中，筛选包含其他独立词汇的词汇，得到待拆分词汇；

对所述待拆分词汇进行拆分，并从拆分得到字符串中筛选不包含已有独立词汇的候选字符串。