[发明专利]一种基于BERT模型的在线对话日志违规检测方法及系统

权利要求书

1.一种基于BERT模型的在线对话日志违规检测方法，其特征在于：

包括如下步骤：

确定违规关键词，构造违规词库；

利用所述违规关键词，抽取对话日志中涉及所述违规关键词的语句，构造违规句库；

确定待对比在线对话日志，基于BERT模型结合预设的相似度算法检测在线对话日志的违规语句；

所述构造违规词库包括：确定违规的词汇为违规关键词，从对话日志中抽取涉及所述关键词的用户ID；提取所述用户ID的对话日志数据，利用TF-IDF关键词抽取方法抽取疑似违规用户的疑似违规关键词；人工对所述疑似违规用户的疑似违规关键词进行筛查，得到精准违规关键词，若干所述精准违规关键词构成违规词库；

所述构造违规句库包括：抽取对话日志中涉及所述违规关键词的语句；利用K-MEANS聚类算法对所述语句进行聚类；从聚类结果中抽取违规句，对所述违规句进行去重，生成违规句库；

所述预设的相似度算法为余弦相似度算法；

所述基于BERT结合相似度算法检测在线对话日志的违规语句包括：基于BERT预训练在线对话日志，生成所述对话日志的向量表示结果，得到预训练后的BERT；利用所述预训练后的BERT将所述违规句库的语句转换成向量表示结果；利用余弦相似度方法分别检测所述在线对话日志、所述违规词库，所述违规句库，判断出违规语句。

2.根据权利要求1所述的一种基于BERT模型的在线对话日志违规检测方法，其特征在于：

所述利用K-MEANS聚类算法对所述语句进行聚类得到40个类。

3.根据权利要求1所述的一种基于BERT模型的在线对话日志违规检测方法，其特征在于：

所述利用余弦相似度方法分别检测所述在线对话日志、所述违规词库及所述违规句库，判断出违规语句还包括：设定相似度的阈值为0.93，当相似度大于或等于0.93，则被判定为违规句。

4.根据权利要求3所述的一种基于BERT模型的在线对话日志违规检测方法，其特征在于：

所述相似度计算公式为：

Score＝0.5*Min(a*0.4,1.0)+0.3*Min(a*0.3,1.0)+0.2*Min(b*0.3,1.0)

其中，a为在线对话日志中服务方违规句出现次数；

b为在线对话日志中访客违规句出现次数。

5.根据权利要求1所述的一种基于BERT模型的在线对话日志违规检测方法，其特征在于：

所述利用所述预训练后的BERT将所述违规句库的语句转换成向量表示结果的向量维度为768。

6.一种基于BERT模型的在线对话日志违规检测系统，其特征在于：

所述系统包括：

违规词库生成模块，用于确定违规关键词，构造违规词库；所述构造违规词库包括：确定违规的词汇为违规关键词，从对话日志中抽取涉及所述关键词的用户ID；提取所述用户ID的对话日志数据，利用TF-IDF关键词抽取方法抽取疑似违规用户的疑似违规关键词；人工对所述疑似违规用户的疑似违规关键词进行筛查，得到精准违规关键词，若干所述精准违规关键词构成违规词库；

违规句库生成模块，用于利用所述违规关键词，抽取对话日志中涉及所述违规关键词的语句，构造违规句库；所述构造违规句库包括：抽取对话日志中涉及所述违规关键词的语句；利用K-MEANS聚类算法对所述语句进行聚类；从聚类结果中抽取违规句，对所述违规句进行去重，生成违规句库；

违规语句检测模块，用于确定待对比在线对话日志，基于BERT模型结合预设的相似度算法检测在线对话日志的违规语句；所述预设的相似度算法为余弦相似度算法；所述基于BERT结合相似度算法检测在线对话日志的违规语句包括：基于BERT预训练在线对话日志，生成所述对话日志的向量表示结果，得到预训练后的BERT；利用所述预训练后的BERT将所述违规句库的语句转换成向量表示结果；利用余弦相似度方法分别检测所述在线对话日志、所述违规词库，所述违规句库，判断出违规语句。