[发明专利]基于模式挖掘与词向量相似度计算的中文查询扩展方法

权利要求书

1.一种基于模式挖掘与词向量相似度计算的中文查询扩展方法，其特征在于，包括下列步骤：

步骤1.用户查询检索中文文档集得到初检文档集；

步骤2.对初检文档集进行中文分词和去除中文停用词，利用深度学习工具对初检文档集进行词向量语义学习训练得到包括查询词项和非查询词项的词向量集；

步骤3.计算并累加非查询词项与全部查询词项的向量余弦相似度，根据降序排列的相似度值提取前列非查询词项作为词嵌入扩展词，得到词嵌入扩展词集，具体步骤如下：

(3.1)在词向量集中，计算非查询词项(cet₁,cet₂,…,cet_i)与原查询词项集合Q中各查询词项(q₁,q₂,…,q_j)的向量余弦相似度VecCos(cet_l,q_s)，其中，1≤l≤i，1≤s≤j；

(3.2)累加非查询词项和原查询词项集合Q中各查询词项的向量余弦相似度得到总的相似度值，作为非查询词项与原查询词项集合Q的向量余弦相似度VecSim(cet_l,Q)；

(3.3)对向量余弦相似度VecSim(cet_l,Q)排降序，根据所排的降序提取前列Vm个非查询词项作为原查询词项集合Q的词嵌入扩展词，构建词嵌入扩展词集WEETS，并计算词嵌入扩展词权值w(vet_l)，然后，转入步骤4；

步骤4.从初检文档集中提取前列m篇初检文档作为伪相关反馈文档，构建伪相关反馈文档集，对初检伪相关反馈文档集进行中文分词、去除中文停用词和提取特征词的预处理，并计算特征词权值，最后构建伪相关反馈中文文档库和中文特征词库；

步骤5.采用基于Copulas函数的扩展词挖掘方法对伪相关反馈文档集挖掘关联扩展词AET，建立关联扩展词集；所述基于Copulas函数的关联扩展词挖掘方法具体步骤如下：

(5.1)挖掘1_频繁项集L₁：从中文特征词库中提取特征词得到1_候选项集C₁，并计算基于Copulas函数的1_候选项集C₁支持度Copulas_Support(C₁)，如果Copulas_Support(C₁)不低于最小支持度阈值ms，则将C₁作为1_频繁项集L₁，并添加到频繁项集集合FIS；

(5.2)挖掘k_频繁项集L_k：由(k-1)_频繁项集L_k-1自连接产生k_候选项集C_k，所述k≥2；当k＝2时，如果该C_k不含有原查询词项，则删除该C_k，如果该C_k含有原查询词项，则留下该C_k，然后，留下的C_k计算k_候选项集C_k的支持度Copulas_Support(C_k)；当k＞2时，则C_k直接计算k_候选项集C_k的支持度Copulas_Support(C_k)；如果Copulas_Support(C_k)不低于ms，则将C_k作为k_频繁项集L_k，并添加到FIS；

(5.3)k加1后转入步骤(5.2)继续顺序执行其后步骤，直到产生所述L_k为空集，则频繁项集挖掘结束，转入步骤(5.4)；

(5.4)从FIS中任意取出L_k，所述k≥2；

(5.5)从L_k中提取真子集项集L_q和L_Aet，计算关联规则L_q→L_Aet基于Copulas函数的置信度Copulas_Confidence(L_q→L_Aet)，且L_q∪L_Aet＝L_k，所述L_Aet为不含查询词项的真子集项集，所述L_q为含查询词项的真子集项集；

(5.6)挖掘关联规则L_q→L_Aet：提取Copulas_Confidence(L_q→L_Aet)不小于最小置信度阈值mc的关联规则L_q→L_Aet加入到关联规则集AR(Association Rule)，然后，转入步骤(5.5)，从L_k中重新提取其他的真子集项集L_q和L_Aet，再顺序进行其后步骤，如此循环，直到L_k的所有真子集项集当且仅当都被取出一次为止，这时转入如步骤(5.4)，进行新一轮关联规则模式挖掘，从FIS中再取出任意其他L_k，再顺序进行其后步骤，如此循环，直到FIS中所有k_频繁项集L_k当且仅当都被取出一次为止，这时关联规则模式挖掘结束，转入如下步骤(5.7)；

(5.7)从关联规则集AR中提取关联规则后件L_Aet的特征词作为关联扩展词，得到关联扩展词集AETS，并计算关联扩展词权值w_Aet，然后，转入步骤6；

步骤6.计算关联扩展词与原查询的向量余弦相似度，提取所述向量相似度值不低于最小相似度阈值的关联扩展词，得到词向量关联扩展词集，具体步骤如下：

(6.1)在词向量集中，计算关联扩展词(Aet₁,Aet₂,..,Aet_s)与原查询词项集合Q(所述Q＝(q₁,q₂,…,q_j))中各查询词项(q₁,q₂,…,q_j)的向量余弦相似度VecCos(Aet_l,q_s)，其中，1≤l≤i，1≤s≤j；

(6.2)累加关联扩展词与各个查询词的向量相似度值得到的相似度总和作为该关联扩展词与原查询词项集合Q的向量余弦相似度值VecSim(Aet_l,Q)；

(6.3)提取向量相似度VecSim(Aet_l,Q)值不低于最小相似度阈值minVSim的关联扩展词作为词向量关联扩展词，得到词向量关联扩展词集WEAETS，并计算词向量关联扩展词权值w(Avet_l)；词向量关联扩展词权值w(Avet_l)由关联扩展词权值w_Aet和所述关联扩展词与原查询词项集合Q的向量余弦相似度值VecSim(Avet_l,Q)组成；

步骤7.将词嵌入扩展词集WEETS和词向量关联扩展词集WEAETS并集融合，得到最终扩展词FETS(Final Expansion Term Set)，并计算最终扩展词权值w(ET_l)；

步骤8.最终扩展词和原查询组合为新查询，再次检索文档集，实现查询扩展。