[发明专利]敏感倾向表述检测方法、装置、设备及存储介质

说明书

本发明涉及人工智能领域，公开了一种敏感倾向表述检测方法、装置、设备及存储介质。所述敏感倾向表述检测方法包括：获取待检测的文本表述；将文本表述分别输入预置BERT模型进行向量编码、输入预置统计语言模型进行特征提取、以及进行嵌入词向量转化，分别得到多个文本词向量、多个文本特征向量、以及多个嵌入词向量；将各向量分别输入预置第一敏感倾向识别模型、预置第二敏感倾向识别模型、预置第三敏感倾向识别模型进行识别，得到对应的具有敏感倾向表述的第一概率、第二概率，以及第三概率；对第一概率、第二概率、第三概率进行投票，确定文本表述是否具有敏感倾向。本发明可以高效且精准地检测出包含敏感内容的文本表述信息。

技术领域

本发明涉及人工智能领域，尤其涉及一种敏感倾向表述检测方法、装置、设备及存储介质。

背景技术

随着互联网的发展，人们越来越习惯于在网络上发表自己的想法，其中大多是以文字为载体。当这些文字信息中包含有敏感内容时，会对个人乃至社会造成不良影响，由于网络信息传播速度飞快，及时地检测出敏感内容显得尤为重要。

现有技术对敏感内容的检测方式一般是采用敏感词检测法，收集到一些敏感词汇，再检测文本信息中是否包含敏感词汇，从而确定被检测的文本信息是否包含敏感内容。这种方式虽然能较精准地检测出敏感内容，但有两点不足：需要经常更新敏感词汇表，敏感内容的检测范围完全依赖于敏感词汇表的覆盖范围；对于一些不包含敏感词汇，但有敏感倾向的文本表述束手无策。

发明内容

本发明的主要目的在于解决难以检测不包含敏感词汇的文本中的敏感倾向表述的技术问题。

本发明第一方面提供了一种敏感倾向表述检测方法，包括：

获取待检测的文本表述；

将所述文本表述输入预置BERT模型进行向量编码，得到多个文本词向量，将所述文本表述输入预置统计语言模型进行特征提取，得到多个文本特征向量，以及对所述文本表述进行嵌入词向量转化，得到多个嵌入词向量；

将所述各文本词向量输入预置第一敏感倾向识别模型进行识别，得到所述各文本词向量具有敏感倾向表述的第一概率，将所述各文本特征向量输入预置第二敏感倾向识别模型进行识别，得到所述各文本特征向量具有敏感倾向表述的第二概率，以及将所述各嵌入词向量输入预置第三敏感倾向识别模型进行识别，得到所述各嵌入词向量具有敏感倾向表述的第三概率；

对所述第一概率、所述第二概率、所述第三概率进行投票，并根据投票结果确定所述文本表述是否具有敏感倾向。

可选的，在本发明第一方面的第一种实现方式中，所述统计语言模型包括：N-Gram模型、Skip-Gram模型，所述将所述文本表述输入预置统计语言模型进行特征提取，得到多个文本特征向量包括：

分别将所述文本表述输入所述N-Gram模型和所述Skip-Gram模型，通过所述N-Gram模型将所述文本表述中各单词转化为第一特征向量，以及通过所述Skip-Gram模型将所述文本表述中各单词转化为第二特征向量；

统计所述文本表述的敏感倾向特征指标，并生成所述文本表述中各单词对应的第三特征向量；

依次拼接所述第一特征向量、所述第二特征向量以及所述第三特征向量，得到多个文本特征向量。

可选的，在本发明第一方面的第二种实现方式中，所述对所述文本表述进行向量转化，得到多个嵌入词向量包括：

将所述文本表述中各单词转化为one-hot稀疏向量，得到多个稀疏向量；

以所述各稀疏向量为查询关键字，查询预置Embedding词表，得到所述各稀疏向量对应的多个嵌入词；

根据所述各稀疏向量对应的多个嵌入词，将所述各稀疏向量映射为稠密向量，得到所述文本表述中各单词对应的嵌入词向量。