[发明专利]索引页内容提取方法和装置、搜索引擎

权利要求书

1.一种索引页内容提取方法，其特征在于，包括：

对指定网站的索引页系列中的当前索引页进行内容提取包括：从当前索引页内的相似块中选择面积最大且包含当前索引页的几何中心点的相似块作为最大相似块，以便根据所述最大相似块中的链接确定当前索引页中的主体链接集合；

比较当前索引页中的主体链接集合与上一次提取到的历史主体链接集合；

响应于当前索引页中的主体链接集合与历史主体链接集合不存在交集，定位到下一索引页进行内容提取。

2.根据权利要求1所述的方法，其特征在于，还包括：

响应于当前索引页中的主体链接集合与历史主体链接集合不存在交集，将当前索引页中的所有主体链接记录到所述历史主体链接集合中；或者

响应于当前索引页中的主体链接集合与历史主体链接集合存在交集，将当前索引页中、所述交集之外的主体链接记录到所述历史主体链接集合中。

3.根据权利要求1或2所述的方法，其特征在于，所述定位到下一索引页进行内容提取包括：

识别索引页系列是否存在当前索引页的下一索引页；

响应于索引页系列存在当前索引页的下一索引页，根据当前索引页上翻页块的翻页特征锚点anchor或当前索引页的链接地址获取下一索引页的链接地址，以所述当前索引页的下一索引页作为当前索引页进行内容提取。

4.根据权利要求1所述的方法，其特征在于，还包括：

响应于当前索引页中的主体链接集合与历史主体链接集合存在交集，将所述历史主体链接集合中不存在的、所述索引页系列中的主体链接记录到所述历史主体链接集合中；

其中，所述历史主体链接集合中不存在的、所述索引页系列中的主体链接包括与所述历史主体链接集合存在交集的当前索引页的主体链接集合中所述交集之外的主体链接，或进一步包括与所述历史主体链接集合不存在交集的各索引页的主体链接集合中的所有主体链接。

5.根据权利要求4所述的方法，其特征在于，所述定位到下一索引页进行内容提取包括：

识别索引页系列是否存在当前索引页的下一索引页；

响应于索引页系列存在当前索引页的下一索引页，根据当前索引页上翻页块的翻页特征anchor或当前索引页的链接地址获取下一索引页的链接地址，以所述当前索引页的下一索引页作为当前索引页进行内容提取；

响应于索引页系列不存在当前索引页的下一索引页，将索引页系列中与所述历史主体链接集合不存在交集的所有索引页的主体链接集合中的所有主体链接记录到所述历史主体链接集合中。

6.根据权利要求1所述的方法，其特征在于，对当前索引页进行内容提取包括：

对当前索引页进行解析，发现当前索引页中的主体链接并进行集合，得到当前索引页中的的主体链接集合。

7.根据权利要求6所述的方法，其特征在于，所述发现当前索引页中的主体链接包括：

获取当前索引页中的相似块并计算相似块在当前索引页中的位置和面积；其中，相似块为可扩展标记语言XML文档元素路径xpath相同的节点集合在当前索引页上形成的区域；

从获取到的相似块中选择面积最大且包含当前索引页的几何中心点的相似块作为最大相似块；

确定最大相似块中的链接为主体链接。

8.根据权利要求7所述的方法，其特征在于，所述节点集合中的节点数量大于4。