[发明专利]一种用于识别标记语言文件主体内容的方法和设备

权利要求书

1.一种计算机实现的用于识别标记语言文件主体内容的方法，其中，该方法包括以下步骤：

a获取待处理的多个标记语言文件；

b根据所述多个标记语言文件的相关信息，获得一组或多组标记语言文件；

c对至少一组标记语言文件的每组中的各个标记语言文件所对应的各DOM树中相应节点的内容进行比较分析，以获得包含该组标记语言文件的主体内容的主体内容节点；

d根据所获得的主体内容节点，来获得用以识别该组标记语言文件主体内容的内容标识模板。

2.根据权利要求1所述的方法，其中，所述多个标记语言文件的相关信息包括以下至少任一项：

-所述多个标记语言文件所对应的DOM树的相关信息；

-所述多个标记语言文件中的资源信息。

3.根据权利要求2所述的方法，其中，所述DOM树的相关信息包括以下至少任一项：

-所述DOM树的节点数量；

-所述DOM树的拓扑结构信息。

4.根据权利要求1至3中任一项所述的方法，其中，所述步骤c包括：

-对所述每组中的标记语言文件所对应的各DOM树中相应节点的内容进行比较分析，以获得所述内容的相似度；

-根据所述相似度来确定所述主体内容节点。

5.根据权利要求1至4中任一项所述的方法，其中，所述步骤d包括：

-获取所述主体内容节点在所述DOM树中的路径信息；

-将所述路径信息添加到所述内容标识模板中，以获得所述内容标识模板。

6.根据权利要求1至5中任一项所述的方法，其中，该方法还包括：

-根据预定规则，获取所述一组或多组标记语言文件中的至少一组标记语言文件；

其中，所述步骤c包括：

-对获取的所述至少一组标记语言文件的每组中的各个标记语言文件所对应的各DOM树中相应节点的内容进行比较分析，以获得所述主体内容节点。

7.根据权利要求6所述的方法，其中，所述预定规则包括基于以下至少任一项获取所述至少一组标记语言文件：

-该组标记语言文件中标记语言文件的数量；

-该组标记语言文件中标记语言文件所对应的DOM树的节点数量。

8.根据权利要求1至7中任一项所述的方法，其中，该方法还包括：

-根据所述主体内容节点包含的所述主体内容，在所述内容标识模板中标注与所述主体内容节点相对应的主体内容相关信息；

其中，所述主体内容相关信息包括以下至少任一项：

-所述主体内容的类型信息；

-所述主体内容的展示优先级。

9.根据权利要求1至8中任一项所述的方法，其中，所述步骤b包括：

-按照预定筛选条件，对所述多个标记语言文件进行筛选，以获得满足所述预定筛选条件的至少一个标记语言文件；

-根据所述至少一个标记语言文件所对应的DOM树的相关信息，对所述至少一个标记语言文件进行聚类，以获得所述一组或多组标记语言文件；

其中，所述步骤d包括：

-根据所获得的主体内容节点，来获得与该预定筛选条件相对应的所述内容标识模板。

10.根据权利要求9所述的方法，其中，所述预定筛选条件基于以下至少任一项对所述多个标记语言文件进行筛选：

-所述标记语言文件的网络地址；

-所述标记语言文件所属的网站。

11.根据权利要求10所述的方法，其中，该方法还包括：

-获取待识别主体内容的其他标记语言文件所满足的预定筛选条件；

-选择该其他标记语言文件所满足的预定筛选条件所对应的内容标识模板；

-根据所选择的内容标识模板来识别所述其他标记语言文件的主体内容。

12.根据权利要求1至11中任一项所述的方法，其中，所述标记语言文件包括以下至少任一项：

-HTML文件；

-XHTML文件；

-XML文件。