[发明专利]网站信息合并去重方法

摘要

本发明涉及一种网站信息的合并去重方法，该方法主要包括以下步骤（1）获取所需分析的多个目标网站的数据信息，对数据信息在各网站之间进行横向比较，对信息进行合并去重；（2）获取每个目标网站内部的数据信息，对网站内部之间的数据进行纵向比较，合并去重；（3）将合并去重后的信息在新的网站页面显示。本发明提供的方法可以去除同类网站的大量重复信息，并将去重后的信息集中显示，可充分发挥互联网的时效性和便利性。

主权项

一种网站信息合并去重方法，其特征在于，该方法包括以下步骤：(1)获取所需分析的多个目标网站的数据信息，对数据信息在各网站之间进行横向比较，对信息进行合并去重；(2)获取每个目标网站内部的数据信息，对网站内部之间的数据进行纵向比较，合并去重；(3)将合并去重后的信息在新的网站页面显示；获取所需分析的多个目标网站的数据信息，对数据信息在各网站之间进行横向比较，对信息进行合并去重的过程主要包括以下步骤：(1)根据目标网站的结构，设置所需分析目标网站的网站模板，并设定目标网站URL；(2)为每个目标网站的网站模板设定独立的线程，进行网站页面数据内容的分析；(3)每个网站模板的独立线程独立采集所对应目标网站的主页面的标签内容和主页面标签下对应的分页面的标签内容，独立线程在信息采集的过程中对所采集的各目标网站之间的信息在各目标网站之间进行横向对比，即将采集到网站主页面的标签内容进行比较，若发现标签内容相同，则对内容进行合并去重，同时也对主页面对应的分页面标签内容进行比较，若发现标签内容相同，则对内容进行合并去重；(4)以主页面的标签内容及其对应的分页面标签内容为存储单元，将去重结果存储在内存中；(5)设定内存存储上限，计算内存中存储单元的数量，若内存中存储单元的数量超过设定的存储上限，则将内存中存储单元的信息存储到数据库；获取每个目标网站内部的数据信息，对网站内部之间的数据进行纵向比较，合并去重的过程主要包括：(1)对每个目标网站的主页面内容进行分析，根据网站URL获取主页面标签信息对应的HTML代码；对HTML代码进行解析，获取目标网站主页面标签信息；(2)对网站主页面标签所对应的分页面进行分析，获取并解析分页面URL，获取分页面标签内容，以主页面的标签内容及其对应的分页面标签内容为存储单元，将存储单元内容进行比较，对比较结果合并去重，将去重结果存放在内存中；(3)设定内存存储上限，计算内存中存储单元的数量，若内存中存储单元的数量超过设定的存储上限，则将内存中存储单元的信息存储到数据库。