[发明专利]网页主体内容识别方法和装置

说明书

技术领域

本发明涉及无线网络的网页浏览技术领域，更为具体地，涉及一种网页主体内容识别方法和装置。

背景技术

当前互联网的网页内容越来越多，网页的排版越来越复杂，网页主体内容中包含的广告、视频、Flash动画、嵌入式对象等非主体内容也越来越多。从网页中一目了然地直接了解需要的信息变得越来越困难。特别是如手机、PDA等屏幕较小的终端设备，由于终端硬件的限制，屏幕较小，在通过手机等浏览器浏览WWW网页的时候，一次性只能展现少量的网页内容，网页中非主体内容对用户浏览体验的不良影响更加严重。

通常的网页在手机上展现的时候都会经过一个缩放甚至重排版的过程。当前比较流行的PC的屏幕的分辨率为480*800和240*320等，而通常一个网页的大小为1024*768，或者800*600，不同的网页的宽高是不一样的。当如此大分辨率的网页在分辨率相对很小的手机上显示时，通常是采用缩放的模式来进行缩放，将一个大网页进行缩小，然后以手机分辨率的方式进行显示。但由于网页中包含现有的单纯的缩放展现模式已经不适应目前用户的网页浏览需求，而且用户上网希望能够马上看到他所期望的内容，而非网页的无关内容的结构、广告等。

另外一种网页在手机上展现时的重排版方式为适应屏幕的排版方式。这种适应屏幕的排版方式虽然可以以当前的手机屏幕为参照进行排版，但排版后展现的网页仍然包含了网页的相关结构、网页广告等信息，并非全部都是用户所期望的阅读内容，对用户的网页浏览体验应存在不良影响。

发明内容

鉴于上述问题，本发明的目的是提供一种能够方便地识别出网页主体内容的网页主体内容识别方法和装置，以便在手机等移动终端设备上浏览信息时直接获取网页的信息，而无需左右拉动。

根据本发明的一个方面，提供了一种网页主体内容识别方法，包括：

解析待装载的网页，构建DOM树；

对所述DOM树中的每个节点进行评分；

根据所述DOM树中每个节点的分值确定所述网页中所有块元素的分值；

查找出所述DOM树中最高分值的块元素，并以所述最高分值的块元素作为所述网页的主体内容。

其中，在对DOM树中的每个节点进行评分的过程中，

评分的依据是每个节点下面的孩子节点的评分的总和，不同类型的孩子节点的分值根据其节点类型而定，其中，

文本节点的分值为所述文本节点的字符串的长度；

对于元素节点，如果所述元素为行内元素，则所述元素节点的分值为0；如果所述元素节点为块元素，则判断所述块元素所包含的文本的长度是否超过预设阈值，如果超过预设阈值，则根据所述块元素所包含的文本的长度和所述块元素的节点类型确定所述块元素的真正分值。

其中，在根据所述块元素所包含的文本的长度和所述块元素的节点类型确定所述块元素的真正分值的过程中，

如果根据所述块元素div下的innerText属性确定所述块元素所包含的文本的长度T，T=Length(innerText)，其分值相应的为T，则对于节点类型属于网页主体内容的元素，在T的基础上增加分值；对于节点类型不属于网页主体内容的元素，在T的基础上减去分值。

根据本发明的另一方面，提供了一种网页主体内容识别装置，包括：

网页解析单元，用于解析待装载的网页，构建DOM树；

节点评分单元，用于对所述网页解析单元构建的DOM树中的每个节点进行评分；

块元素评分单元，用于根据所述DOM树中每个节点的分值确定所述网页中所有块元素的分值；

网页主体内容确定单元，用于查找出DOM树中的最高分值的块元素，并以所述最高分值的块元素作为所述网页的主体内容。

其中，所述节点评分单元进一步包括：

节点类型判断单元，用于判断节点的类型；

节点分值计算单元，用于根据节点的类型计算所述节点的分值，其中，

所述节点评分单元评分的依据是每个节点下面的孩子节点的评分的总和，不同类型的孩子节点的分值根据其节点类型而定；其中，

文本节点的分值为所述文本节点的字符串的长度；

对于元素节点，如果所述元素为行内元素，则所述元素节点的分值为0；如果所述元素节点为块元素，则判断所述块元素所包含的文本的长度是否超过预设阈值，如果超过预设阈值，则根据所述块元素所包含的文本的长度和所述块元素的节点类型确定所述块元素的真正分值。