[发明专利]一种识别敏感文本的方法及装置

说明书

本申请公开了一种识别敏感文本的方法，获取待识别文本之后，可以对待识别文本进行分词，得到多个分词。并确定该多个分词的似然敏感值和似然非敏感值，根据该待识别文本的先验敏感概率、多个分词分别对应的似然敏感值和似然非敏感值，确定待识别文本是否为敏感文本。在确定前述多个分词中每个分词的似然敏感值和似然非敏感值时，结合预先确定的敏感词库来确定。对于敏感词库中包括的分词，根据该分词的敏感程度值确定该分词的似然敏感值和似然非敏感值；对于敏感词库中包括的分词，根据预先确定的参数确定该分词的似然敏感值和似然非敏感值。使得该第一分词的似然敏感值和似然非敏感值更加准确，相应的，使得对待识别文本的识别结果更加准确。

技术领域

本申请涉及数据处理领域，特别是涉及一种识别敏感文本的方法及装置。

背景技术

随着网络技术的发展，网络上的信息越来越多。伴随而来的是网络上也会出现一些敏感内容。例如，不符合国家法律法规的政治话题，又如，诸如不文明用语、色情用语等不符合互联网使用环境的话题。

因此，准确的对敏感文本进行识别，是目前急需解决的问题。

发明内容

本申请所要解决的技术问题是如何准确的识别出敏感文本，提供一种识别敏感文本的方法及装置。

第一方面，本申请实施例提供了一种识别敏感文本的方法，所述方法包括：

获取待识别文本，并对待识别文本进行分词，得到多个分词；

确定所述多个分词中每个分词分别对应的似然敏感值和似然非敏感值；

根据所述待识别文本的先验敏感概率、所述每个分词分别对应的似然敏感值和似然非敏感值，确定所述待识别文本是否为敏感文本；

其中：

所述多个分词包括第一分词，若敏感词库中包括所述第一分词，则所述第一分词的似然敏感值和似然非敏感值，根据所述第一分词的敏感程度值确定，所述第一分词的敏感程度值是预先确定的；若所述敏感词库中不包括所述第一分词，则所述第一分词的似然敏感值和所述第一分词的似然非敏感值根据预先确定的参数确定。

可选的，若所述敏感词库中不包括所述第一分词，所述第一分词的似然敏感值大于所述第一分词的似然非敏感程度值。

可选的，根据所述待识别文本的先验敏感概率、所述每个分词分别对应的似然敏感值和似然非敏感值，确定所述待识别文本是否为敏感文本，包括：

根据所述待识别文本的先验敏感概率和所述多个分词中每个分词的似然敏感值，确定所述待识别文本的后验敏感值；

根据所述待识别文本的先验敏感概率和所述多个分词中每个分词的似然非敏感值，确定所述待识别文本的后验非敏感值；

根据所述待识别文本的后验敏感值和所述待识别文本的后验非敏感值，确定所述待识别文本是否为敏感文本。

可选的，所述方法还包括：

根据所述多个分词中、存在于所述敏感词库中的分词的敏感程度值，对所述待识别文本的后验敏感值进行修正，修正后的所述待识别文本的后验敏感值，大于修正前的所述待识别文本的后验敏感值；

所述根据所述待识别文本的后验敏感值和所述待识别文本的后验非敏感值，确定所述待识别文本是否为敏感文本，包括：

根据所述待识别文本的后验非敏感值和所述修正后的所述待识别文本的后验敏感值，确定所述待识别文本是否为敏感文本。

可选的，所述方法还包括：

确定所述存在于所述敏感词库中的分词所属的类别；

根据所述存在于所述敏感词库中的分词的敏感程度值，对所述待识别文本的后验敏感值进行修正，包括：