[发明专利]一种网页内容抽取的方法及装置

权利要求书

1.一种网页内容抽取的方法，其特征在于，包括：

将超文本标记语言HTML源码转换为对应的文档树结构，并根据所述文档树结构的标题TITLE标签，确定网页标题；

根据所述网页标题，确定网页中的网页元素，所述网页元素至少包括网站商标LOGO、页面导航、新闻发布时间、新闻来源；

根据所述网页标题，以及所述文档树结构的文本块的密度和文字数，确定各个文本块的属性，所述文本块的属性包括所述文本块的网页内容为正文，或者所述文本块的网页内容非正文；

抽取所述网页标题、所述网页元素以及所述网页内容为正文的正文文本块，获取网页全文。

2.根据权利要求1所述网页内容抽取的方法，其特征在于，文本块的密度包括文字密度和链接密度；

所述根据所述网页标题，以及所述文档树结构的文本块的密度和文字数，确定各个文本块的属性包括：

根据所述文档树结构的文本块的文字密度、链接密度和文字数，确定当前文本块的网页内容为正文或者非正文；

根据所述网页标题，确定所述网页标题之前的网页内容为非正文；

根据所述文档树结构的文本块中包含的网页正文结束特征词，确定包含所述特征词的文本块之后的网页内容为非正文。

3.根据权利要求2所述网页内容抽取的方法，其特征在于，所述根据所述文档树结构的文本块的文字密度、链接密度和文字数，确定当前文本块的网页内容为正文或者非正文包括：

判断所述当前文本块的文字密度是否大于等于文字密度下限值；

当所述当前文本块的文字密度大于等于汉字密度下限值时，判断所述当前文本块的链接文字密度是否小于第一链接文字密度上限值；

当所述当前文本块的链接文字密度小于所述第一链接文字密度上限值时，判断前一个文本块中链接文字密度是否小于第二链接文字密度上限值；

当所述前一个文本块中连接文字密度小于所述第二链接文字密度上限值时，判断所述当前文本块的文字数是否小于第一文字数下限值；

当所述当前文本块的文字数小于所述第一文字数下限值时，判断后一个文本块的文字数是否小于第二文字数下限值；

当所述后一个文本块的文字数小于所述第二文字数下限值时，判断所述前一个文本块的文字数是否小于第三文字数下限值；

当所述前一个文本块的文字数小于所述第三文字数下限值时，确定所述当前文本块的网页内容为非正文；

当所述前一个文本块的文字数大于等于所述第三文字数下限值时，确定所述当前文本块的网页内容为正文。

4.根据权利要求3所述网页内容抽取的方法，其特征在于，

当所述当前文本块的文字密度小于汉字密度下限值时，确定所述当前文本块的网页内容为非正文。

5.根据权利要求3所述网页内容抽取的方法，其特征在于，

当所述当前文本块的链接文字密度大于等于所述第一链接文字密度上限值时，并且当所述前一个文本块的网页内容为正文时，判断所述当前文本块中链接的文字数的平均值是否小于文字数上限值；

当所述当前文本块中链接的文字数的平均值小于文字数上限值时，确定所述当前文本块的网页内容为正文；

当所述当前文本块中链接的文字数的平均值大于等于文字数上限值时，确定所述当前文本块的网页内容为非正文。

6.根据权利要求3所述网页内容抽取的方法，其特征在于，

当所述当前文本块的链接文字密度大于等于所述第一链接文字密度上限值时，判断所述当前文本块的文字数是否小于等于第四文字数下限值；

当所述当前文本块的文字数大于所述第四文字数下限值时，确定所述当前文本块的网页内容为正文；

当所述当前文本块的文字数小于等于所述第四文字数下限值时，判断所述前一个文本块或者所述后一个文本块的文字数是否小于等于第五文字数下限值；

当所述前一个文本块或者后一个文本块的文字数小于等于所述第五文字数下限值时，确定所述当前文本块的网页内容为非正文；

当所述前一个文本块或者后一个文本块的文字数大于所述第五文字数下限值时，确定所述当前文本块的网页内容为正文。

7.根据权利要求3所述网页内容抽取的方法，其特征在于，

当所述当前文本块的文字数大于等于所述第一文字数下限值时，确定所述当前文本块的网页内容为正文。