[发明专利]用于发现文本词间关联规则的完全加权模式挖掘方法

权利要求书

1.一种用于发现文本词间关联规则的完全加权模式挖掘方法，其特征在于，包括如下步骤：

（1）完全加权数据预处理阶段：将待处理的完全加权数据进行预处理，构建完全加权数据库和项目库；

（2）完全加权频繁项集和负项集挖掘阶段，包括以下步骤2.1和步骤2.2：

2.1、从项目库中提取完全加权候选1_项集，并挖掘完全加权频繁1_项集；具体步骤按照2.1.1～2.1.3进行：

2.1.1、从项目库中提取完全加权候选1_项集；

2.1.2、累加完全加权候选1_项集在完全加权数据库中的权值总和，计算其支持度；

2.1.3、将完全加权候选1_项集中支持度大于或等于最小支持度阈值的完全加权频繁1_项集加入到完全加权频繁项集集合；

2.2、从完全加权候选2_项集开始，按照步骤2.2.1～2.2.4进行操作：

2.2.1、将完全加权频繁(i-1)_项集进行Apriori连接，生成完全加权候选i_项集；所述的i≥2；

2.2.2、累加完全加权候选i_项集在完全加权数据库中的权值总和，计算其支持度；

2.2.3、从完全加权候选i_项集中将其支持度不小于支持度阈值的频繁i_项集取出，存入完全加权频繁项集集合，同时，将其支持度小于支持度阈值的完全加权负i_项集存入完全加权负项集集合；

2.2.4、将i的值加1，如果频繁(i-1)_项集为空就转入（3）步，否则，继续2.2.1～2.2.3步骤；

（3）剪枝阶段：通过剪枝阶段获得有趣的完全加权频繁项集和负项集：

3.1、对于频繁项集集合中的每一个频繁i-项集awL_i，计算IAWFI(awL_i)值，剪除其IAWFI(awL_i)值为假的频繁项集，剪枝后得到有趣的完全加权频繁项集集合；

3.2、对于完全加权负项集集合中的每一个负i-项集awN_i，计算IAWNI(awN_i)值，剪除其IAWNI(awN_i)值为假的负项集，剪枝后得到有趣的完全加权负项集集合；

（4）从有趣的完全加权频繁项集集合中挖掘有效的完全加权正负关联规则，包括以下步骤：

4.1、从有趣的完全加权频繁项集集合取出频繁项集awL_i，求出awL_i的所有真子集，构建awL_i的真子集集合，然后进行下列操作：

4.2.1、从awL_i的真子集集合中任意取出两个真子集I₁和I₂，当I₁和I₂的交集为空集，I₁和I₂的项目个数之和等于其原频繁项集的项目个数，以及I₁和I₂的支持度都不小于支持度阈值，则计算频繁项集(I₁∪I₂)的项内权值比awIWR(I₁,I₂)及其维数比awIDR(I₁,I₂)；

4.2.2、当数据库中事务记录总数(n)和上述4.2.1步的项内权值比(awIWR(I₁,I₂))的乘积大于其维数比(awIDR(I₁,I₂))时（即n×awIWR(I₁,I₂)>awIDR(I₁,I₂)），进行如下操作：

4.2.2.1若I₁→I₂的awCPIR值(awCPIR(I₁→I₂))不小于置信度阈值minconf，则挖掘出完全加权关联规则I₁→I₂；若I₂→I₁的awCPIR值(awCPIR(I₂→I₁))不小于置信度阈值minconf，则挖掘出完全加权关联规则I₂→I₁；

4.2.2.2若(﹁I₁∪﹁I₂)的支持度不小于支持度阈值minsup，那么，①如果﹁I₁→﹁I₂的awCPIR值(awCPIR(﹁I₁→﹁I₂))不小于置信度阈值minconf，则挖掘出完全加权负关联规则﹁I₁→﹁I₂；②如果﹁I₂→﹁I₁的awCPIR值(awCPIR(﹁I₂→﹁I₁))不小于置信度阈值minconf，则挖掘出完全加权负关联规则﹁I₂→﹁I₁；

4.2.3、当数据库中事务记录总数(n)和上述4.2.1步的项内权值比(awIWR(I₁,I₂))的乘积小于其维数比(awIDR(I₁,I₂))时（即n×awIWR(I₁,I₂)<awIDR(I₁,I₂)），进行如下操作：

4.2.3.1若(I₁∪﹁I₂)的支持度不小于支持度阈值minsup，那么，①如果I₁→﹁I₂的awCPIR值(awCPIR(I₁→﹁I₂))不小于置信度阈值minconf，则挖掘出完全加权负关联规则I₁→﹁I₂；②如果﹁I₂→I₁的awCPIR值(awCPIR(﹁I₂→I₁))不小于置信度阈值minconf，则挖掘出完全加权负关联规则﹁I₂→I₁；

4.2.3.2若(﹁I₁∪I₂)的支持度不小于支持度阈值minsup，那么，①如果﹁I₁→I₂的awCPIR值(awCPIR(﹁I₁→I₂))不小于置信度阈值minconf，则挖掘出完全加权负关联规则﹁I₁→I₂；②如果I₂→﹁I₁的awCPIR值(awCPIR(I₂→﹁I₁))不小于置信度阈值minconf，则挖掘出完全加权负关联规则I₂→﹁I₁；

4.2.4、继续4.2.1～4.2.3步骤，如果awL_i的真子集集合中每个真子集都当且仅当被取出一次，则转入4.2.5步；

4.2.5，继续4.1步骤，如果有趣的完全加权频繁项集集合中每个频繁项集awL_i都当且仅当被取出一次，则转入第（5）步；

（5）从有趣的完全加权负项集集合中挖掘有效的完全加权负关联规则，包括以下步骤：

5.1、从有趣的完全加权负项集集合取出负项集awN_i，求出awN_i的所有真子集，构建awN_i的真子集集合，然后进行下列操作：

5.2.1、从awN_i的真子集集合中任意取出两个真子集I₁和I₂，当I₁和I₂的交集为空集，I₁和I₂的项目个数之和等于其原频繁项集的项目个数，以及I₁和I₂的支持度都大于或者等于支持度阈值，则计算负项集(I₁∪I₂)的项内权值比(awIWR(I₁,I₂))及其维数比(awIDR(I₁,I₂))；

5.2.2、当数据库中事务记录总数(n)和上述5.2.1步的项内权值比(awIWR(I₁,I₂))的乘积大于其维数比(awIDR(I₁,I₂))时（即n×awIWR(I₁,I₂)>awIDR(I₁,I₂)），进行如下操作：

5.2.2.1若(﹁I₁∪﹁I₂)的支持度大于或者等于支持度阈值minsup，那么，①如果﹁I₁→﹁I₂的awCPIR值(awCPIR(﹁I₁→﹁I₂))大于或者等于置信度阈值minconf，则挖掘出完全加权负关联规则﹁I₁→﹁I₂；②如果﹁I₂→﹁I₁的awCPIR值(awCPIR(﹁I₂→﹁I₁))大于或者等于置信度阈值minconf，则挖掘出完全加权负关联规则﹁I₂→﹁I₁；

5.2.3、当数据库中事务记录总数(n)和上述5.2.1步的项内权值比(awIWR(I₁,I₂))的乘积小于其维数比(awIDR(I₁,I₂))时（即n×awIWR(I₁,I₂)<awIDR(I₁,I₂)），进行如下操作：

5.2.3.1若(I₁∪﹁I₂)的支持度大于或者等于支持度阈值minsup，那么，①如果I₁→﹁I₂的awCPIR值(awCPIR(I₁→﹁I₂))大于或者等于置信度阈值minconf，则挖掘出完全加权负关联规则I₁→﹁I₂；②如果﹁I₂→I₁的awCPIR值(awCPIR(﹁I₂→I₁))大于或者等于置信度阈值minconf，则挖掘出完全加权负关联规则﹁I₂→I₁；

5.2.3.2若(﹁I₁∪I₂)的支持度大于或者等于支持度阈值minsup，那么，①如果﹁I₁→I₂的awCPIR值(awCPIR(﹁I₁→I₂))大于或者等于置信度阈值minconf，则挖掘出完全加权负关联规则﹁I₁→I₂；②如果I₂→﹁I₁的awCPIR值(awCPIR(I₂→﹁I₁))大于或者等于置信度阈值minconf，则挖掘出完全加权负关联规则I₂→﹁I₁；

5.2.4、继续5.2.1～5.2.3步骤，如果awN_i的真子集集合中每个真子集都当且仅当被取出一次，则转入5.2.5步；

5.2.5，继续5.1步骤，如果有趣的完全加权负项集集合中每个负项集awN_i都当且仅当被取出一次，则完全加权正负关联规则挖掘结束；

所述的“﹁I₁，﹁I₂，I₁∪﹁I₂，I₁→﹁I₂”等符号中的“﹁”为负相关符号，﹁I₁表示在事务处理中不出现I₁的事件，称为负项集I₁；(I₁∪﹁I₂)表示一个项集，该项集有子项集I₁和负子项集I₂；关联规则I₁→﹁I₂其含义是：如果子集I₁的事件出现或者发生，那么子集I₂的事件不会出现或者不发生。

2.根据权利要求1所述的用于发现文本词间关联规则的完全加权模式挖掘方法，其特征在于，所述的待处理的完全加权数据预处理的具体步骤为，当待处理的完全加权数据为中文文本数据时，进行分词、去除停用词、提取特征词并计算其权值；当待处理的完全加权数据为英文文本数据时，进行词干提取、排除停用词、词汇分析、提取特征词并计算其权值。