[发明专利]一种频繁邻接序列模式挖掘方法

说明书

本发明提供一种频繁邻接序列模式挖掘方法,包括以下步骤：序列数据整理；获取序列数据库中的所有项目的数量mt及最大的序列长度L；创建l阶空的稀疏张量与维数为l的空数组；遍历序列数据库，查询长度为l的序列并存入维数为l的数组中；将每一数组中的每一行(列)分别对应为稀疏张量中的位置索引，累计稀疏张量中每个元素的值，该值即为所对应序列模式的频数；在稀疏张量中筛选出频数在最小支持度以上的元素，该元素对应的序列模式即为频繁序列模式。去除了冗余的频繁模式和循环序列模式，同时通过利用稀疏张量数据结构，有效地避免了维度爆炸，算法时间复杂度低，在进行大规模频繁序列挖掘时有较好的时效性。本发明应用于数据挖掘技术领域。

技术领域

本发明涉及数据挖掘技术领域，尤其涉及一种频繁邻接序列模式挖掘方法。

背景技术

序列模式挖掘是查找序列集合中的频繁序列模式的重要方法，给定一个由不同序列组成的集合，其中，每个序列由不同的元素按顺序有序排列，同时给定一个用户指定的最小支持度阈值min_sup，序列模式挖掘就是找出所有出现频率不低于min_sup的子序列。

常用的基本序列模式挖掘算法有类Apriori算法(AprioriAll、AprioriSome、DynamicSome)和基于数据投影的算法(FreeSpan，PrefixSpan)等。

Apriori类算法的思想大致相同，首先遍历序列数据库生成候选序列并利用先验性质进行剪枝得到频繁序列模式，每次遍历都是通过连接上次得到的频繁序列模式生成新的长度加1的候选序列，然后扫描每个候选序列验证其是否为频繁序列模式，要对数据库进行反复多次的扫描。FreeSpan算法利用当前挖掘的频繁序列模式集将序列数据库递归地投影到一组更小的投影数据库上，分别在每个投影数据库上增长子序列，PrefixSpan是FreeSpan的改进算法，其投影时不考虑所有可能出现的频繁子序列，只检查前缀序列，然后把相应的后缀投影成投影数据库，之后在其中只检查局部频繁模式，不需要生成候选子序列。PrefixSpan算法在处理数据时有较高的效率，但在实际使用时仍存在一定的问题，例如产生冗余序列等。

PrefixSpan算法是挖掘频繁序列模式的经典算法，通过分而治之的策略，相较于其他算法，其具有较高的时间效率。在该算法中，序列数据库被递归地投影到一组较小的投影数据库(Projected Databases)中，并且通过检查每个投影数据库中本地频繁片段而增长序列模式。

该算法在数据库投影时使用前缀(Prefix)的概念。对于初始数据库S中的每个频繁项α，创建数据库S的投影数据库，记为S|_α。S|_α表示的意义为：(1)α是频繁项；(2)只存储S中出现α的序列；(3)在S|_α中的每个序列中，α及其之前的所有项都被移除。其思想即是所有以α开头的序列模式都可以通过检查S|_α发现。接下来，对S|_α中的每个频繁项β，采用类似策略，创建新的投影数据库S|_αβ，用以发现αβ开头的序列模式。

PrefixSpan算法的时间复杂度很难给出一个定量化的结果，其主要时间消耗在构造投影数据库，但随着前缀的加长，其投影数据库的大小会减小。在最坏情况下，S中每条序列的每个子序列都是频繁的，其要为每个频繁模式构建一个投影数据库。同时，挖掘序列中的所有模式会导致一些问题，例如挖掘了大量冗余的模式和循环序列模式问题。

如图2(a)所示的展示了5个节点以及4条不同的有向边。则数据库包含4条序列：1→3→4→5、1→3→4→5、1→2→4→5、1→2→4→5，设置最小支持度min_sup为2(即序列出现2次以上被认为是频繁的)，那么PrefixSpan算法将发现所有序列模式，如表1所示：

表1示例中发现的序列模式