[发明专利]垃圾文本判别方法、装置及服务器有效
申请号: | 201810040355.1 | 申请日: | 2018-01-16 |
公开(公告)号: | CN108334567B | 公开(公告)日: | 2021-09-10 |
发明(设计)人: | 郑培凝 | 申请(专利权)人: | 北京奇艺世纪科技有限公司 |
主分类号: | G06F16/35 | 分类号: | G06F16/35;G06F40/289 |
代理公司: | 北京柏杉松知识产权代理事务所(普通合伙) 11413 | 代理人: | 马敬;项京 |
地址: | 100080 北京市海淀区*** | 国省代码: | 北京;11 |
权利要求书: | 查看更多 | 说明书: | 查看更多 |
摘要: | |||
搜索关键词: | 垃圾 文本 判别 方法 装置 服务器 | ||
1.一种垃圾文本判别方法,应用于服务器,其特征在于,包括:
将接收到的文本发送给预先排序好的各模块按顺序进行判别;
针对每一个模块,将该模块下的不同预处理进行排序,得到该模块的预处理序列;
针对每一个模块的预处理序列,获取经其他模块预处理序列的预处理子序列预处理过的文本,所述其他模块的预处理序列的预处理子序列与当前模块的预处理序列的预处理子序列相同;所述预处理子序列是从所述预处理序列开头开始划分的;
按当前模块的预处理序列对所获取的文本进行当前模块的预处理序列中剩余预处理部分的预处理,所述剩余预处理部分为当前模块的预处理序列中未被其他模块的预处理子序列预处理过的预处理部分;
针对每一个模块,将经该模块的预处理序列预处理过的文本按当前模块预设的函数进行计算,得到文本的属性;
根据每一个模块得到的文本的属性,做出对所述文本的判别结果。
2.根据权利要求1所述的方法,其特征在于,所述针对每一个模块的预处理序列,获取经其他模块预处理序列的预处理子序列预处理过的文本,所述其他模块的预处理序列的预处理子序列与当前模块的预处理序列的预处理子序列相同;按当前模块的预处理序列对所获取的文本进行当前模块的预处理序列中剩余预处理部分的预处理,包括:
针对每一个模块的预处理序列,判断是否存有经其他模块预处理序列的预处理子序列预处理过的文本;
如果是,获取经其他模块预处理序列的预处理子序列预处理过的文本,所述其他模块的预处理序列的预处理子序列与当前模块的预处理序列的预处理子序列相同;按当前模块的预处理序列对所获取的文本进行当前模块的预处理序列中剩余预处理部分的预处理;
如果否,按当前模块的预处理序列对所接收到的文本进行预处理,并保存经当前预处理序列的每一预处理子序列预处理过的文本。
3.根据权利要求1所述的方法,其特征在于,所述其他模块的预处理序列的预处理子序列为其他模块的预处理序列的预处理子序列中与当前模块的预处理序列的预处理子序列相同的,且含有的用于预处理接收到的文本的预处理的数量最多的预处理子序列。
4.根据权利要求2所述的方法,其特征在于,所述针对每一个模块的预处理序列,判断是否存有经其他模块预处理序列的预处理子序列预处理过的文本包括:
按照当前模块的预处理序列的预处理子序列的用于预处理接收到的文本的预处理的数量由多到少的顺序,判断是否存有经其他模块预处理序列的预处理子序列预处理过的文本。
5.根据权利要求1所述的方法,其特征在于,所述文本的属性包括:中英文占比、分词后的单词长度、生僻字占比、语句通顺度中的至少一个。
6.根据权利要求1所述的方法,其特征在于,所述针对每一个模块,将经该模块的预处理序列预处理过的文本按预设的函数进行计算,得到文本的属性后,还包括:
针对每一个模块,将所得到的文本的属性作为预设的分析模型的参数,将所述预设的分析模型的输出结果作为对文本的分析结果;
所述根据每一个模块的计算结果,得出对所述文本的判别结果,包括:
根据每一个模块对文本的分析结果,得出对所述文本的判别结果。
7.根据权利要求1所述的方法,其特征在于,所述针对每一个模块,将经该模块的预处理序列预处理过的文本按预设的函数进行计算,得到文本的属性,包括:
针对每一个模块,判断是否存有与该模块的预处理序列所对应的经其他模块的预设函数计算出的文本的属性,所述其他模块的预设函数为与当前模块的预设函数相同的预设函数;
如果是,获取与当前模块的预处理序列所对应的经其他模块的预设函数计算出的文本的属性;
如果否,将当前模块的预处理序列预处理过的文本作为当前模块预设函数的参数,将当前模块预设函数的输出结果作为计算出的文本的属性,并将计算出的文本的属性保存。
该专利技术资料仅供研究查看技术是否侵权等信息,商用须获得专利权人授权。该专利全部权利属于北京奇艺世纪科技有限公司,未经北京奇艺世纪科技有限公司许可,擅自商用是侵权行为。如果您想购买此专利、获得商业授权和技术合作,请联系【客服】
本文链接:http://www.vipzhuanli.com/pat/books/201810040355.1/1.html,转载请声明来源钻瓜专利网。