[发明专利]一种文本还原方法、装置及电子设备

权利要求书

1.一种文本还原方法，包括：

获取目标文本；

对所述目标文本进行分词处理，得到所述目标文本分词后的分词文本，所述分词文本包含无法组成分词的字符；

基于拆字样本集，对所述分词文本中无法组成分词的字符进行匹配，得到至少一种匹配后分词文本；

将所述至少一组匹配后分词文本输入预设语言模型，得到所述至少一组匹配后分词文本的置信度；

基于所述至少一组匹配后分词文本的置信度，从所述至少一种匹配后分词文本中选取出所述目标文本的还原文本。

2.根据权利要求1所述的文本还原方法，

基于拆字样本资源，对所述分词文本中无法组成分词的字符进行匹配，包括：

基于拆字样本资源，对所述分词文本中行方向相邻的无法组成分词的字符进行匹配。

3.根据权利要求1所述的文本还原方法，

基于拆字样本资源，对所述分词文本中无法组成分词的字符进行匹配，包括：

基于拆字样本资源，对所述分词文本中列方向相邻的无法组成分词的字符进行匹配。

4.根据权利要求1所述的文本还原方法，

基于所述至少一组匹配后分词文本的置信度，从所述至少一种匹配后分词文本中选取出所述目标文本的还原文本，包括：

从所述至少一种匹配后分词文本中选取置信度最高的一者作为所述目标文本的还原文本。

5.根据权利要求1所述的文本还原方法，

所述分词文本中无法组成分词的字符包括：汉字、汉字的偏旁、汉字的字根中任意一者。

6.根据权利要求1所述的文本还原方法，

所述预设语言模型基于垃圾信息样本集训练得到。

7.根据权利要求1所述的文本还原方法，

获取目标文本，包括：

从网络社交平台中，获取用户发送的目标文本。

8.一种文本还原装置，包括：

获取模块，获取目标文本；

分词模块，对所述目标文本进行分词处理，得到所述目标文本分词后的分词文本，所述分词文本包含无法组成分词的字符；

匹配模块，基于拆字样本集，对所述分词文本中无法组成分词的字符进行匹配，得到至少一种匹配后分词文本；

评估模块，将所述至少一组匹配后分词文本输入预设语言模型，得到所述至少一组匹配后分词文本的置信度；

选取模块，基于所述至少一组匹配后分词文本的置信度，从所述至少一种匹配后分词文本中选取出所述目标文本的还原文本。

9.一种电子设备包括：存储器、处理器及存储在所述存储器上并可在所述处理器上运行的计算机程序，所述计算机程序被所述处理器执行：

获取目标文本；

对所述目标文本进行分词处理，得到所述目标文本分词后的分词文本，所述分词文本包含无法组成分词的字符；

基于拆字样本集，对所述分词文本中无法组成分词的字符进行匹配，得到至少一种匹配后分词文本；

将所述至少一组匹配后分词文本输入预设语言模型，得到所述至少一组匹配后分词文本的置信度；

基于所述至少一组匹配后分词文本的置信度，从所述至少一种匹配后分词文本中选取出所述目标文本的还原文本。

10.一种计算机可读存储介质，所述计算机可读存储介质上存储有计算机程序，所述计算机程序被处理器执行时实现如下步骤：

获取目标文本；

对所述目标文本进行分词处理，得到所述目标文本分词后的分词文本，所述分词文本包含无法组成分词的字符；

基于拆字样本集，对所述分词文本中无法组成分词的字符进行匹配，得到至少一种匹配后分词文本；

将所述至少一组匹配后分词文本输入预设语言模型，得到所述至少一组匹配后分词文本的置信度；

基于所述至少一组匹配后分词文本的置信度，从所述至少一种匹配后分词文本中选取出所述目标文本的还原文本。