[发明专利]基于项集权值比较的模式挖掘和混合扩展的文本检索方法有效
申请号: | 201811649207.6 | 申请日: | 2018-12-30 |
公开(公告)号: | CN109684465B | 公开(公告)日: | 2022-12-06 |
发明(设计)人: | 黄名选 | 申请(专利权)人: | 广西财经学院 |
主分类号: | G06F16/332 | 分类号: | G06F16/332 |
代理公司: | 广西南宁公平知识产权代理有限公司 45104 | 代理人: | 黄春莲 |
地址: | 530000 广西壮族*** | 国省代码: | 广西;45 |
权利要求书: | 查看更多 | 说明书: | 查看更多 |
摘要: | |||
搜索关键词: | 基于 集权 比较 模式 挖掘 混合 扩展 文本 检索 方法 | ||
本发明公开了基于项集权值比较的模式挖掘和混合扩展的文本检索方法,首先用户查询首次检索得到初检前列文档,构建并预处理初检相关文档集,通过比较项集权值挖掘含有原查询词项的频繁项集,通过项集中最小项目的项集权值和最大项目的项集权值的比值、项集的项目权值最大者或最大项目权值对候选项集剪枝,通过计算卡方值和置信度值从频繁项集提取含有原查询词项的关联规则,将那些后件是原查询词项的关联规则前件以及前件是原查询词项的关联规则后件作为扩展词,扩展词与原查询词组合为新查询再次检索文档集得到最终检索结果文档返回给用户。本发明采用基于项集权值比值的剪枝和混合扩展技术,检索性能得到改善和提升,应用价值高,推广前景广阔。
技术领域
本发明属于信息检索领域,具体基于项集权值比较的模式挖掘和混合扩展的文本检索方法。
背景技术
当前,网络信息资源已经成为了隐含巨大经济价值和研究价值的网络大数据,如何高效、准确地从网络大数据里找到更多所需的信息,一直是信息检索领域研究的热点问题。搜索引擎在一定程度上缓解了人们在互联网检索信息的困难,但是,现有的搜索引擎或者web信息检索系统往往是基于关键词机械式符号匹配的检索,很难避免信息过载和词不匹配等问题,例如,查询词是“电脑”,尽管“计算机”描述的是相同的含义,但是,“电脑”、“计算机”在信息检索系统里被认为是不同的检索词,这样,仅仅含有关键词“计算机”,而不含“电脑”的文档不能被检索出来,这是因为词不匹配的原因。
发明内容
为了解决上述问题,本发明提出基于项集权值比较的模式挖掘和混合扩展的文本检索方法,采用基于项集权值比值的剪枝和混合扩展方法,能挖掘出与原查询相关的扩展词,能解决信息检索中查询主题漂移和词不匹配问题,提高和改善文本信息检索性能,具有较好的应用价值和推广前景。
本发明的技术方案如下:
基于项集权值比较的模式挖掘和混合扩展的文本检索方法,包括下列步骤:
步骤1.用户查询首次检索文档得到初检结果,用户对初检结果进行相关反馈判断得到初检相关文档集,预处理所述相关文档集,具体步骤如下:
(1.1)用户查询首次检索文档集得到初检前列文档。
(1.2)用户对初检前列文档进行相关性判断得到初检相关文档,构建初检相关文档集。
(1.3)预处理初检相关文档集,计算初检相关文档集特征词权值,构建文档索引库和特征词库。
初检相关文档集预处理要根据不同语种采用相应的预处理方法,例如,对于英文文档,预处理方法是:去除英文停用词,采用Porter程序(详细见网址:http://tartarus.org/martin/PorterStemmer)提取得到英文特征词词干,计算英文特征词权值;对于中文文档,预处理方法是:去除中文停用词,对中文文档进行分词后提取中文特征词,计算中文特征词权值。
所述特征词权值的计算公式,如式(1)所示的计算公式。
式(1)中,wij表示文档di中特征词tj的权值,tfj,i表示特征词tj在文档di中的词频,普遍将tfj,i进行标准化处理,所述标准化处理是指将文档di中每个特征词所述的tfj,i除以文档di的最大词频,idfj是逆文档频度(Inverse Document Frequency)。
步骤2.结合原查询词项,挖掘含有原查询词项的特征词频繁项集,并进行项集剪枝,具体步骤如下:
该专利技术资料仅供研究查看技术是否侵权等信息,商用须获得专利权人授权。该专利全部权利属于广西财经学院,未经广西财经学院许可,擅自商用是侵权行为。如果您想购买此专利、获得商业授权和技术合作,请联系【客服】
本文链接:http://www.vipzhuanli.com/pat/books/201811649207.6/2.html,转载请声明来源钻瓜专利网。