[发明专利]基于项集权值比剪枝和关联规则前件扩展的文本检索方法

摘要

本发明公开了基于项集权值比剪枝和关联规则前件扩展的文本检索方法，首先对用户查询进行初检，构建初检用户相关文档集，通过项集权值比较从所述文档集中挖掘含有原查询词项的频繁项集，通过项集中最小项目的项集权值和最大项目的项集权值的比值、项集的项目权值最大者或最大项目权值对候选项集剪枝，通过计算项集的卡方分析和置信度，从频繁项集提取含有原查询词项的特征词关联规则，将后件是原查询词项的关联规则前件作为扩展词，扩展词与原查询词组合为新查询再次检索文档得到最终检索结果文档返回给用户。本发明通过候选项集剪枝，提高挖掘效率，挖掘出与原查询相关的扩展词，提高和改善文本信息检索性能，具有较好的应用价值和推广前景。

主权项

1.基于项集权值比剪枝和关联规则前件扩展的文本检索方法，其特征在于，包括下列步骤：(1)用户查询首次检索文档集得到初检前列文档；(2)用户对初检前列文档进行相关性判断得到初检相关文档，构建初检用户相关文档集；(3)预处理初检用户相关文档集，构建文档索引库和特征词库：(4)挖掘文本特征词1_频繁项集L₁，具体步骤如下：(4.1)从特征词库中提取特征词作为1_候选项集C₁；(4.2)扫描文档索引库，统计文本文档总数n和统计C₁的项集权值w[C₁]；(4.3)计算最小权值支持阈值MWS；所述MWS计算公式如式(2)所示：MWS＝n×ms  (2)式(2)中，所述ms为最小支持度阈值，n为文档索引库的文本文档总数；(4.4)如果w[C₁]≥MWS，则C₁就文本特征词1_频繁项集L₁，添加到频繁项集集合FIS；(5)挖掘文本特征词2_频繁项集L₂，具体步骤如下：(5.1)采用Aproiri连接方法将文本特征词1_频繁项集L₁自连接得到多个2_候选项集C₂；(5.2)剪枝不含原查询词项的2_候选项集C₂；(5.3)对余下的2_候选项集C₂，扫描文档索引库分别统计C₂的项集权值w[C₂]；(5.4)如果w[C₂]≥MWS，则C₂就文本特征词2_频繁项集L₂，添加到频繁项集集合FIS；(6)挖掘文本特征词k_频繁项集L_k，所述k≥2；具体步骤如下：(6.1)采用Aproiri连接方法将文本特征词(k‑1)_频繁项集L_k‑1自连接得到多个k_候选项集C_k＝(i₁,i₂,…,i_k)，所述k≥2；(6.2)扫描文档索引库，分别统计各C_k的项集权值w[C_k]和各C_k中最大的项目权值w_m，分别得到所述最大的项目权值w_m对应的项目i_m，所述m∈(1,2,…,k)；(6.3)如果所述项目i_m对应的1_项集(i_m)是非频繁的，或者w_m<MWS，则剪枝所述C_k；(6.4)对于余下的C_k，如果w[C_k]≥MWS×k并且w_min[(i_q)]≥minRate×w_max[(i_p)]，那么，该C_k就是文本特征词k_频繁项集L_k，添加到频繁项集集合FIS；所述minRate为最小项集权值比阈值；所述w_min[(i_q)]为最小项目的项集权值，w_max[(i_p)]为最大项目的项集权值，w_min[(i_q)]和w_max[(i_p)]的含义如下：假设k_候选项集C_k＝(i₁,i₂,…i_k)，C_k的各个项目i₁,i₂,…,i_k单独作为1_项集时对应为(i₁),(i₂),…,(i_k)，在文档索引库中统计1_项集(i₁),(i₂),…,(i_k)的项集权值分别为w[(i₁)],w[(i₂)],…,w[(i_k)]，将w[(i₁)],w[(i₂)],…,w[(i_k)]中最小的项集权值称为最小项目的项集权值，记为w_min[(i_q)]，对应的1_项集记为(i_q)，将与C_k对应的所述项目i_q称为C_k的最小项目，同理，将w[(i₁)],w[(i₂)],…,w[(i_k)]中最大的项集权值称为最大项目的项集权值，记为w_max[(i_p)]，对应的1_项集记为(i_p)，将与C_k对应的所述项目i_p称为C_k的最大项目；所述q∈(1,2,…,k)，p∈(1,2,…,k)；(6.5)如果文本特征词k_频繁项集L_k为空集，则特征词频繁项集挖掘结束，转入如下步骤(7)，否则，k加1后转入步骤(6.1)继续顺序循环；(7)从频繁项集集合FIS中取出任意一个文本特征词k_频繁项集L_k，按照下面步骤挖掘每个L_k的所有含有原查询词项的关联规则模式：(7.1)构建L_k的所有真子集项集集合；(7.2)从真子集项集集合中任意取出两个真子集项集q_t和E_t，且q_t∪E_t＝L_k，Q_TL为原查询词项集合，E_t为不含原查询词项的特征词项集E_t，计算项集(q_t,E_t)的卡方值Chis(q_t,E_t)，计算公式如式(3)所示：式(3)中，w[(q_t)]为项集q_t在文档索引库中项集权值，k₁为项集q_t的长度，w[(E_t)]为项集E_t在文档索引库中项集权值，k₂为项集E_t的长度，w[(q_t,E_t)]为项集(q_t,E_t)在文档索引库中的项集权值，k_L为项集(q_t,E_t)的项目个数，n为文档索引库的文本文档总数；(7.3)如果Chis(q_t,E_t)>0，则计算特征词关联规则置信度WConf(E_t→q_t)；若WConf(E_t→q_t)≥最小置信度阈值mc，则关联规则E_t→q_t是强关联规则模式，添加到关联规则模式集合AR；所述WConf(E_t→q_t)的计算公式如式(4)所示：式(4)中，w[(E_t)]，k₂，w[(q_t,E_t)]，k_L的定义同式(3)；(7.4)如果L_k的每个真子集项集当且仅当都被取出一次，那么本次L_k中的特征词关联规则模式挖掘结束，这时从繁项集集合FIS中重新取出另一个L_k，并转入步骤(7.1)依序执行进行另一个L_k的关联规则模式挖掘，否则，转入步骤(7.2)再顺序执行各个步骤；如果频繁项集集合FIS中的每个L_k都已经被取出挖掘关联规则模式，则结束关联规则模式挖掘，转入如下步骤(8)；(8)从关联规则模式集合AR中提取每个关联规则E_t→q_t的前件Et作为扩展词，计算所述扩展词权值w_e，计算公式如式(5)所示：式(5)中，max(WConf())和max(Chis())分别表示关联规则置信度和卡方值的最大值，表示项集中最小项目的项集权值和最大项目的项集权值的比值的最大值，即当扩展词重复出现在多个关联规则模式时，分别取上述3个度量值的最大值；(9)扩展词与原查询词组合为新查询再次检索文档得到最终检索结果文档返回给用户。