[发明专利]一种基于结构和内容二级过滤的Web数据相似性检测方法

权利要求书

1.一种基于结构和内容二级过滤的Web数据相似性检测方法，其特征在于：在传统的通用相似性检测方法的基础上，发掘出Web数据结构和内容分布的特点，对检测的文档集进行两级过滤；两级过滤中的第一级过滤是结构相似性过滤，对每个Web文档建模为Tag树结构，从而剔除在结构上不相似的文档集，并对剩余的文档进行关键内容抽取，将其表示成元组向量的形式，将关键信息连接起来生成字符串集；两级过滤中的第二级过滤则对第一级过滤后生成的字符串集进行Trie树结构建模，并对相似字符串进行连接，得到最终的结果。

2.根据权利要求1所述的基于结构和内容二级过滤的Web数据相似性检测方法，其特征在于，所述的第一级过滤具体实现包括以下步骤：

步骤A1：对输入的待检测Web文档集进行预处理，提取Web文档结构模型Tag.tree，并建立有效节点索引；

步骤A2：结合MapReduce并行构造所有Tag.tree的二叉分支向量(Binary Branch Vector)；

步骤A3：为Tag.tree的二叉分支向量建立多指针LSH索引；

步骤A4：查询给定查询q的结构相似性Web文档集S₁；

步骤A5：获取Web文档集S₁基于Tag树抽取的内容六元组向量集W，基于W使用字符串连接算法，获取查询q的相似性结果集S₂。

3.根据权利要求2所述的基于结构和内容二级过滤的Web数据相似性检测方法，其特征在于，步骤A1的具体实现包括以下子步骤：

步骤A1.1：结合MapReduce，并行处理存放在分布式文档系统(HDFS)中的Web文档数据集，使用基于路径标签的Tag树建模方式，提取Web文档结构模型Tag.tree；

步骤A1.2：新建一个MapReduce任务，Map任务的输入key为文件名，value为Tag.tree，reduce任务的key为文件名，value为Tag.tree对应转化的二叉树B的二叉节点向量，将reduce的结果输入到HDFS中。

4.根据权利要求3所述的基于结构和内容二级过滤的Web数据相似性检测方法，其特征在于，步骤A2的具体实现包括以下子步骤：

步骤A2.1：新建一个MapReduce任务，计算所有Tag.tree的二叉节点向量集合S，接着使用Hadoop的DistributedCatch功能，把全域集合S分发到系统中的各个DataNode；

步骤A2.2：根据S和每一个Tag.tree的二叉节点向量，使用一个MapReduce任务构建其二叉分支向量BBV；map任务的key为文件名，value为Tag.tree的二叉节点向量；reduce任务的key为文件名，value为对应Tag.tree的BBV；

步骤A2.3：任务把每一个Tag.tree的BBV写入HDFS。