[发明专利]文本作弊的识别方法及装置有效
申请号: | 201810398470.6 | 申请日: | 2018-04-28 |
公开(公告)号: | CN108804413B | 公开(公告)日: | 2022-03-22 |
发明(设计)人: | 覃丕七;余义祥 | 申请(专利权)人: | 百度在线网络技术(北京)有限公司 |
主分类号: | G06F40/205 | 分类号: | G06F40/205;G06F40/289 |
代理公司: | 北京清亦华知识产权代理事务所(普通合伙) 11201 | 代理人: | 宋合成 |
地址: | 100085 北京市*** | 国省代码: | 北京;11 |
权利要求书: | 查看更多 | 说明书: | 查看更多 |
摘要: | |||
搜索关键词: | 文本 作弊 识别 方法 装置 | ||
1.一种文本作弊的识别方法,其特征在于,包括以下步骤:
根据用户提交的当前文本和多个历史文本,提取得到多个嫌疑载体词;
对所述多个嫌疑载体词进行载体识别,识别出最可疑的所述嫌疑载体词作为软文载体词;
对所述当前文本和多个包含所述软文载体词的所述历史文本进行软文作弊识别,识别出所述当前文本是否为软文和/或所述用户是否为软文作弊用户;所述对所述多个嫌疑载体词进行载体识别,识别出最可疑的所述嫌疑载体词作为软文载体词包括:
采用载体识别二分类模型,对所述多个嫌疑载体词进行载体识别;
将所述载体识别二分类模型输出的概率最大,且大于第一设定概率阈值的所述嫌疑载体词,确定为所述软文载体词;
所述采用载体识别二分类模型,对所述多个嫌疑载体词进行载体识别之前还包括:
构造多个载体语料和多个非载体语料;
根据所述多个载体语料和所述多个非载体语料,训练得到所述载体识别二分类模型;所述构造多个载体语料包括:
对历史人工语料标注过程和/或历史软文载体词识别过程中产生的多个软文载体词样本进行单字拆解,构造出多个不同长度和/或不同单字的所述载体语料;
所述对历史人工语料标注过程和/或历史软文载体词识别过程中产生的多个软文载体词样本进行单字拆解,构造出多个不同长度和/或不同单字的所述载体语料包括:将所述软文载体词样本的单字次序随机打乱顺序,生成所述载体语料;和/或,从所述多个软文载体词样本中随机抽取出设定数量的软文载体词样本,并从抽取出的每个所述软文载体词样本中随机抽取一个单字,组合成所述载体语料。
2.根据权利要求1所述的识别方法,其特征在于,所述根据用户提交的当前文本和多个历史文本,提取得到多个嫌疑载体词包括:
对所述用户提交的当前文本和多个历史文本进行相似度比较,提取出出现频率大于设定频率阈值或出现次数大于设定次数阈值的词作为所述嫌疑载体词。
3.根据权利要求2所述的识别方法,其特征在于,还包括:
根据预设的高频非载体反词表,对所述出现频率大于设定频率阈值或出现次数大于设定次数阈值的词进行过滤,保留与所述高频非载体反词表不匹配的词作为所述嫌疑载体词。
4.根据权利要求1所述的识别方法,其特征在于,所述对所述当前文本和多个包含所述软文载体词的所述历史文本进行软文作弊识别,识别出所述当前文本是否为软文和/或所述用户是否为软文作弊用户包括:
采用软文作弊预测模型,对所述当前文本和多个包含所述软文载体词的所述历史文本进行软文作弊预测;
若所述软文作弊预测模型输出的概率大于第二设定概率阈值,则确定所述当前文本为软文和/或所述用户为软文作弊用户。
5.根据权利要求4所述的识别方法,其特征在于,所述采用软文作弊预测模型,对所述当前文本和多个包含所述软文载体词的所述历史文本进行软文作弊预测之前还包括:
根据人工标注的多个作弊语料和多个非作弊语料,训练得到所述软文作弊预测模型。
6.根据权利要求5所述的识别方法,其特征在于,所述根据人工标注的多个作弊语料和多个非作弊语料,训练得到所述软文作弊预测模型包括:
对所述人工标注的多个作弊语料和多个非作弊语料进行载体序列截取,得到设定字符数的多个作弊语料序列和多个非作弊语料序列;
根据所述多个作弊语料序列和多个非作弊语料序列,训练得到所述软文作弊预测模型;
所述采用软文作弊预测模型,对所述当前文本和多个包含所述软文载体词的所述历史文本进行软文作弊预测包括:
对所述当前文本和多个包含所述软文载体词的所述历史文本进行载体序列截取,得到所述设定字符数的当前文本序列和多个包含所述软文载体词的历史文本序列;
采用所述软文作弊预测模型,对所述当前文本序列和多个包含所述软文载体词的历史文本序列进行软文作弊预测。
该专利技术资料仅供研究查看技术是否侵权等信息,商用须获得专利权人授权。该专利全部权利属于百度在线网络技术(北京)有限公司,未经百度在线网络技术(北京)有限公司许可,擅自商用是侵权行为。如果您想购买此专利、获得商业授权和技术合作,请联系【客服】
本文链接:http://www.vipzhuanli.com/pat/books/201810398470.6/1.html,转载请声明来源钻瓜专利网。