[发明专利]用于面向特定网络入口的新内容检测和汇聚方法及装置

权利要求书

1.一种用于面向特定网络入口的新内容检测和汇聚方法，其特征在于，包括步骤：

S1：获取特定网络入口的网络连接；

S2：通过所述网络连接加载网页内容，对所述网页内容进行DOM解析获得结构树；对所述结构树中的无效节点进行无关标记，获得处理后的结构树；

S3：将所述处理后的结构树通过映射算法存入数据库，获得更新后的网页内容，将所述更新后的网页内容发送至用户进行反馈操作；

步骤S3中，所述将所述处理后的结构树通过映射算法存入数据库，获得更新后的网页内容，具体为：

通过比照算法选取新的网页内容进行缓存，同步更新到数据库，并标记新的时间信息；

所述比照算法具体为：将所述处理后的结构树的各节点hash值与所述结构树的各节点hash值进行比较，hash值产生变化的节点的子节点为存在新内容的子节点；

所述反馈操作具体为：

S31：对所述更新后的网页内容中各信息进行相关度顺序；

S32：判断所述更新后的网页内容中各信息的相关度；若信息被标记为不相关，则降低该信息对应结构树中节点的相关度；若信息被标记为相关，则增加该信息对应结构树中节点的相关度；

S33：更新所述更新后的网页内容对应的结构树，进入步骤S4；

S4：经过预设时间T后返回步骤S2，通过所述网络连接加载更新后的网页内容。

2.根据权利要求1所述的用于面向特定网络入口的新内容检测和汇聚方法，其特征在于，步骤S2具体为：

S21：通过所述网络连接加载网页内容，对所述网页内容中HTML文件的DOM进行解析，获得DOM层级的树结构；剔除所述树结构中的无关信息；

S22：判断所述树结构中各节点的内容；若所述节点的内容为广告或无效内容，则对该节点进行无关标记，并且删除该节点的子节点；若所述节点的内容为有效节点，则保留该节点，并且增加该节点的相关度；获得处理后的结构树。

3.根据权利要求1所述的用于面向特定网络入口的新内容检测和汇聚方法，其特征在于，步骤S3中，所述将所述更新后的网页内容发送至用户包括：

通过客户端结果窗口显示所述更新后的网页内容；

将所述更新后的网页内容转化为PDF格式发送至用户的邮箱中。

4.一种用于面向特定网络入口的新内容检测和汇聚装置，其特征在于，包括：

网络连接模块，用于获取特定网络入口的网络连接；

结构树生成模块，用于通过所述网络连接加载网页内容，对所述网页内容进行DOM解析获得结构树；对所述结构树中的无效节点进行无关标记，获得处理后的结构树；

更新模块，用于将所述处理后的结构树通过映射算法存入数据库，获得更新后的网页内容，将所述更新后的网页内容发送至用户进行反馈操作；

所述更新模块中，所述将所述处理后的结构树通过映射算法存入数据库，获得更新后的网页内容，具体为：

通过比照算法选取新的网页内容进行缓存，同步更新到数据库，并标记新的时间信息；

所述比照算法具体为：将所述处理后的结构树的各节点hash值与所述结构树的各节点hash值进行比较，hash值产生变化的节点的子节点为存在新内容的子节点；

所述更新模块包括以下子模块：

相关度排序模块，用于对所述更新后的网页内容中各信息进行相关度顺序；

相关度反馈模块，用于判断所述更新后的网页内容中各信息的相关度；若信息被标记为不相关，则降低该信息对应结构树中节点的相关度；若信息被标记为相关，则增加该信息对应结构树中节点的相关度；

结构树更新模块，用于更新所述更新后的网页内容对应的结构树，进入加载模块；

加载模块，用于经过预设时间T后返回步骤S2，通过所述网络连接加载更新后的网页内容。