[发明专利]一种文本审核的方法和装置

说明书

本发明是一种文本审核的方法和装置，将敏感词在原有分类基础上继续划分为确信词和疑似词两大类，审核时先进行敏感词匹配，如果匹配到确信词，则直接判定为违规，如果匹配到疑似词，则通过神经网络继续判定其分类，如果网络输出分类与疑似词所在分类一致，则判定为违规，否则判定为正常。该方法通过结合敏感词匹配方法和神经网络审核方法来减少漏判或误判的情况，同时因为不是所有文本都需要经过神经网络，所以相较纯神经网络的方法能够提高系统审核效率。本发明的优点：相较现有技术单纯依赖敏感词匹配或者单纯采用神经网络的方法能够提高准确率，减少漏判或误判的情况；有的文本无需经过神经网络模型，在一定程度上提高了系统整体的审核效率。

技术领域

本发明涉及的是一种文本审核的方法和装置，涉及计算机多媒体信息处理技术领域。

背景技术

在文本信息审核技术领域中，现有技术的方案一般是通过敏感词匹配或者神经网络的方法。其中通过敏感词匹配是指原文中出现某个敏感词就判定为违规，这种方法非常高效。通过神经网络的方法是指将原文先进行预处理，如分词、向量化等，再输入到训练好的神经网络中，最终网络会输出是否违规或者某个分类的标签。

单独依赖敏感词匹配的方法虽然高效，但是存在误判或者漏判的情况，比如某词在涉黄上下文中通常是个违规词，但是正常语境中也会用到，这种词如果作为敏感词就有可能导致误判，如果不作为敏感词就有可能导致漏判。

如果采用神经网络的方法，网络通常会通过上下文语义而不是某个词去判定是否违规，准确性相较敏感词的方法会高一点，但是也有可能会误判或漏判，比如在长段正常文本中插入几个违规的词，这种情况神经网络大概率会判为正常文本，而且因为神经网络通常计算量比较大，同等硬件条件下审核效率较低。

CN112434522A公开了一种降低敏感词误警率的文本审核后处理装置及方法，需要设置敏感多义消歧词库，同样存在可能漏判的问题。

发明内容

本发明提出的是一种文本审核的方法和装置，其目的旨在克服现有技术存在的上述不足，结合敏感词匹配方法和神经网络审核方法来减少漏判或误判的情况，并提高系统审核效率。

本发明的技术解决方案：将敏感词在原有分类基础上继续划分为确信词和疑似词两大类，审核时先进行敏感词匹配，如果匹配到确信词，则直接判定为违规，如果匹配到疑似词，则通过神经网络继续判定其分类，如果网络输出分类(如涉黄、涉政等)与疑似词所在分类一致，则判定为违规，否则判定为正常。该方法通过结合敏感词匹配方法和神经网络审核方法来减少漏判或误判的情况，同时因为不是所有文本都需要经过神经网络，所以相较纯神经网络的方法能够提高系统审核效率。具体的，包括以下步骤：

步骤1：对输入文本进行预处理，包括繁体转简体、大写转小写、全角转半角等，文本预处理有利于对各种敏感词的变体进行识别，能降低漏判情况。

步骤2：对文本进行分词，采用jieba中文分词工具进行分词。

步骤3：对分词结果与敏感词词库进行匹配，得到敏感词集合S及其分类。

步骤4：如果集合S为空则直接输出文本正常，如果S不为空，则继续执行以下步骤。

步骤5：如果S中存在确信词，则直接输出文本违规。否则，将整个文本输入到训练好的fasttext神经网络模型中。

步骤6：fasttext神经网络对输入文本进行预测，得到文本的分类及概率值，分别记为L和P。

步骤7：如果L和S中某个疑似词所属的分类一致且P大于某个阈值T则输出文本违规，否则输出文本正常。

本发明的优点：1)相较现有技术单纯依赖敏感词匹配或者单纯采用神经网络的方法能够提高准确率，减少漏判或误判的情况；

2)并非所有文本都需要经过神经网络模型，在一定程度上提高了系统整体的审核效率。