[发明专利]信息处理方法、装置、存储介质和计算机设备有效
| 申请号: | 201710543213.2 | 申请日: | 2017-07-05 |
| 公开(公告)号: | CN108319630B | 公开(公告)日: | 2021-12-14 |
| 发明(设计)人: | 赵自翔;吴昊 | 申请(专利权)人: | 腾讯科技(深圳)有限公司 |
| 主分类号: | G06F16/33 | 分类号: | G06F16/33;G06F16/35;G06F40/289 |
| 代理公司: | 广州华进联合专利商标代理有限公司 44224 | 代理人: | 何平;邓云鹏 |
| 地址: | 518000 广东省深圳*** | 国省代码: | 广东;44 |
| 权利要求书: | 查看更多 | 说明书: | 查看更多 |
| 摘要: | |||
| 搜索关键词: | 信息处理 方法 装置 存储 介质 计算机 设备 | ||
1.一种信息处理方法,所述方法包括:
接收待处理文本信息,获取所述待处理文本信息对应的第一文本摘要;所述第一文本摘要中包括多个关键词;
获取倒排索引文档,所述倒排索引文档记录了标准敏感文本库中各个标准关键词和所述标准关键词对应的标准敏感文本编号组合的关联关系;
获取所述第一文本摘要中包括的待测关键词,依次获取各个待测关键词在所述倒排索引文档中相同的标准关键词,根据相同的标准关键词获取各个待测关键词对应的标准敏感文本编号组合;
统计所述待测关键词对应的标准敏感文本编号,将重复次数最多的标准敏感文本编号对应的标准敏感文本作为目标标准敏感文本;
将所述目标标准敏感文本对应的重复次数作为所述相同关键词的数目;
获取所述目标标准敏感文本的目标标准敏感文本摘要对应的关键词数目得到第一特征值;
获取所述第一文本摘要对应的关键词数目得到第二特征值;
获取所述第一特征值与所述第二特征值中的较大特征值作为目标特征值;
计算所述相同关键词的数目与所述目标特征值的比值得到相似度;
根据所述相似度确定所述待处理文本信息的敏感检测结果。
2.根据权利要求1所述的方法,其特征在于,所述获取所述待处理文本信息对应的第一文本摘要的步骤包括:
根据分词切分算法得到所述待处理文本信息对应的分词;
计算所述分词对应的词频;
利用语料库计算各个分词对应的逆文档频率,分别将各个分词对应的词频与逆文档频率相乘得到对应的权重值;
将所述权重值排序,并按照权重值从高到低的顺序获取预设数目的分词构成所述待处理文本信息对应的第一文本摘要。
3.根据权利要求1所述的方法,其特征在于,所述获取所述待处理文本信息对应的第一文本摘要的步骤包括:
根据分词切分算法得到所述待处理文本信息对应的分词;
对所述分词进行词性标注,去除所述分词中的停用词得到候选关键词集合;
根据预设的窗体长度截取所述候选关键词集合,得到各个窗体对应的目标候选关键词集合;
将每个所述候选关键词作为一个节点,构造各个目标候选关键词集合中任意两个节点之间的边,构建所述候选关键词集合对应的候选关键词图;
预设各个节点的初始化权重,利用网页排名迭代算法循环迭代所述候选关键词图,得到各个节点对应的节点权重值;按照所述节点权重值由高到低的顺序获取预设数目的候选关键词构成所述待处理文本信息对应的第一文本摘要。
4.根据权利要求3所述的方法,其特征在于,所述对所述分词进行词性标注,去除所述分词中的停用词得到候选关键词集合包括:
对所述分词进行词性标注;
根据预先设置的停用词表以及词性标注,去除所述待处理文本信息中的停用词,得到候选关键词集合。
5.根据权利要求3所述的方法,其特征在于,所述根据预设的窗体长度截取所述候选关键词集合,得到各个窗体对应的目标候选关键词集合包括:
按照预设的窗体长度,对所述候选关键词集合中的候选关键词进行划分,得到各个窗体对应的目标候选关键词集合。
6.根据权利要求1所述的方法,其特征在于,所述获取倒排索引文档的步骤之前,还包括:
以所述标准敏感文本摘要库中的各个标准关键词建立索引;
将第一标准关键词作为当前处理关键词,获取所述标准敏感文本库中存在所述当前处理关键词的标准敏感文本对应的编号,将获取的各个标准敏感文本编号组成标准敏感文本编号组合,建立当前处理关键词与对应的标准敏感文本编号组合的关联关系;
获取下一个标准关键词作为当前处理关键词,进入获取所述标准敏感文本库中存在所述当前处理关键词的标准敏感文本对应的编号的步骤,直至所有标准关键词建立与对应的标准敏感文本编号组合的关联关系;
将所述各个标准关键词和所述标准关键词对应的标准敏感文本编号组合的关联关系形成所述倒排索引文档。
该专利技术资料仅供研究查看技术是否侵权等信息,商用须获得专利权人授权。该专利全部权利属于腾讯科技(深圳)有限公司,未经腾讯科技(深圳)有限公司许可,擅自商用是侵权行为。如果您想购买此专利、获得商业授权和技术合作,请联系【客服】
本文链接:http://www.vipzhuanli.com/pat/books/201710543213.2/1.html,转载请声明来源钻瓜专利网。





