[发明专利]一种变形关键词检测方法、系统及相关设备

说明书

本发明实施例提供了一种变形关键词检测方法、系统及相关设备，用于提高变形关键词检测的效率及检出率。本发明实施例中，变形关键词检测系统采用预设语言模型对待检测文本进行初步筛选，只对合理性概率值小于第一阈值的目标句子进行进一步检测，大大减少了文本检测的计算量，提高了检测效率。其次，通过检测目标句子中文本的字形和/或发音与预置关键词的相似度，可以有效检测出预置关键词的可疑关键词，提高了形音字的检出率。最后，将目标句子中的可疑关键词替换为预置关键词生成还原文本，将还原文本输入预设语言模型，进行进一步的确认，若还原文本对应的合理性概率值不小于第一阈值，则判定待检测文本中存在变形关键词，提高了检测的准确率。

技术领域

本发明涉及计算机信息处理技术领域，尤其涉及一种变形关键词检测方法、系统及相关设备。

背景技术

文本检测是一个非常重要的问题，经常被用在多个领域，如垃圾邮件、垃圾短信、网页篡改等。

传统的文本检测技术通常是对整个文本进行关键词匹配，例如根据字符串相似度算法判断原有关键词与变形词的距离。对整个文本进行关键词匹配，工作量大，检测效率低下。其次，为对抗检测，攻击者经常对关键词做变形，比如将“六合彩”变形为“六和彩”，以避开检测，导致检出率低。

有鉴于此，有必要提出一种新的检测文本的方法。

发明内容

本发明实施例提供了一种变形关键词检测方法、系统及相关设备，用于提高变形关键词检测的效率及检出率。

本发明实施例第一方面提供了一种变形关键词检测方法，其特征在于，包括：

将待检测文本输入预设语言模型中，得到所述待检测文本中每个句子的合理性概率值；

若所述待检测文本中存在目标句子，所述目标句子对应的合理性概率值小于第一阈值，则检测所述目标句子中是否存在可疑关键词，所述可疑关键词与预置关键词列表中的某一个预置关键词的字形和/或发音相似度超过第二阈值；

若存在所述可疑关键词，则将所述目标句子中的可疑关键词替换为预置关键词生成所述目标句子对应的还原文本；

判断所述还原文本对应的合理性概率值是否大于所述第一阈值，若大于，则判定所述待检测文本中存在变形关键词。

可选的，作为一种可能的实施例，本发明实施例中，所述检测所述目标句子中是否存在可疑关键词，包括：

采用滑动窗口机制从所述目标句子中依次截取预置数量的字符形成对应的字符串，并计算各个字符串与每个预置关键词的字形和/或发音的相似度；

判断是否存在目标滑动窗口，所述目标滑动窗口对应的字符串与某一个预置关键词的字形和/或发音的相似度超过所述第二阈值，若存在，则判定所述目标句子中是否存在可疑关键词。

可选的，作为一种可能的实施例，本发明实施例中，所述检测所述目标句子中是否存在变形关键词，包括：

遍历每个汉字，计算每个汉字与所述预置关键词列表中每个关键字在发音和/或字形上的相似度；

若存在目标汉字，所述目标汉字与所述预置关键词列表中目标关键字相似度不小于第三阈值，则将所述目标汉字作为所述目标关键字的形音字；

将所述目标关键词中的所述目标关键字替换为所述目标汉字，生成所述目标关键词对应的预置变形关键词，所有的预置变形关键词形成变形词库；

采用所述变形词库中的预置变形关键词对所述目标句子进行匹配，若匹配成功，则判定所述目标句子中存在可疑关键词。

可选的，作为一种可能的实施例，本发明实施例中，在采用所述变形词库中的预置变形关键词对所述目标句子进行匹配之前，所述方法还包括：