[发明专利]一种文本还原方法、装置及电子设备

说明书

本申请实施例涉及一种文本还原方法、装置及电子设备。文本还原方法包括：获取目标文本；对所述目标文本进行分词处理，得到所述目标文本分词后的分词文本，所述分词文本包含无法组成分词的字符；基于拆字样本集，对所述分词文本中无法组成分词的字符进行匹配，得到至少一种匹配后分词文本；将所述至少一组匹配后分词文本输入预设语言模型，得到所述至少一组匹配后分词文本的置信度；基于所述至少一组匹配后分词文本的置信度，从所述至少一种匹配后分词文本中选取出所述目标文本的还原文本。

技术领域

本申请实施例涉及网络安全技术领域，尤其涉及一种文本还原方法、装置及电子设备。

背景技术

随着互联网的兴起，信息传递的便捷性使得互联网信息量成几何级增长。用户常常会收到互联网灰黑产发送的垃圾信息，比如推销信息、诈骗信息、非法宣传信息等。对于这些垃圾信息，一般可以通过网络平台进行拦截。然而，目前灰黑产为了绕过平台的各种防控手段，会以拆字表达的方式传播垃圾信息。比如正常内容是“我是闪电借款，可以强开借呗5000-10000w”，通过拆字方式表达为“我是闪电亻昔款，可以弓虽开亻昔呗5000-10000w”。

有鉴于此，为了提高网络平台针对垃圾信息的识别能力，如何将拆字表达的变异文本还原回正常文本，是本申请所要解决的技术问题。

发明内容

本申请实施例目的是提供一种文本还原方法、装置及电子设备，能够将拆字表达的变异文本还原回正常文本。

为了实现上述目的，本申请实施例是这样实现的：

第一方面，提供一种文本还原方法，包括：

获取目标文本；

对所述目标文本进行分词处理，得到所述目标文本分词后的分词文本，所述分词文本包含无法组成分词的字符；

基于拆字样本集，对所述分词文本中无法组成分词的字符进行匹配，得到至少一种匹配后分词文本；

将所述至少一组匹配后分词文本输入预设语言模型，得到所述至少一组匹配后分词文本的置信度；

基于所述至少一组匹配后分词文本的置信度，从所述至少一种匹配后分词文本中选取出所述目标文本的还原文本。

第二方面，提供了一种文本还原装置，包括：

获取模块，获取目标文本；

分词模块，对所述目标文本进行分词处理，得到所述目标文本分词后的分词文本，所述分词文本包含无法组成分词的字符；

匹配模块，基于拆字样本集，对所述分词文本中无法组成分词的字符进行匹配，得到至少一种匹配后分词文本；

评估模块，将所述至少一组匹配后分词文本输入预设语言模型，得到所述至少一组匹配后分词文本的置信度；

选取模块，基于所述至少一组匹配后分词文本的置信度，从所述至少一种匹配后分词文本中选取出所述目标文本的还原文本。

第三方面，提供了一种电子设备，包括：存储器、处理器及存储在所述存储器上并可在所述处理器上运行的计算机程序，所述计算机程序被所述处理器执行：

获取目标文本；

对所述目标文本进行分词处理，得到所述目标文本分词后的分词文本，所述分词文本包含无法组成分词的字符；

基于拆字样本集，对所述分词文本中无法组成分词的字符进行匹配，得到至少一种匹配后分词文本；

将所述至少一组匹配后分词文本输入预设语言模型，得到所述至少一组匹配后分词文本的置信度；

基于所述至少一组匹配后分词文本的置信度，从所述至少一种匹配后分词文本中选取出所述目标文本的还原文本。