[发明专利]一种网页内容处理方法、装置及计算机可读存储介质

权利要求书

1.一种网页内容处理方法，其特征在于，所述方法包括：

对网页进行解析，得到网页的树状结构；树状结构中的每个节点分别对应一个数据块；

针对每个节点，确定节点在所述树状结构中对应的位置；并基于确定的位置，利用对应的分类方法，识别对应节点的主题；其中，针对未知主题节点，采用以下方式之一识别未知主题节点的主题：基于预设主题模型，根据与未知主题节点相邻的节点的主题，确定相邻的节点的主题转移至预设主题的概率，利用确定的概率，识别未知主题节点的主题；利用所述树状结构，确定每个节点在所述树状结构中的等级关系；利用确定的等级关系，确定未知主题节点与其他节点的等级差距；将满足等级差距小于预设等级阈值对应的节点的主题作为所述未知主题节点的主题；其中，所述未知主题节点为第一节点中未识别出主题的节点；所述第一节点为终端节点；

从识别的所有主题中，确定满足预设条件的主题；

输出确定的主题对应节点的网页内容。

2.根据权利要求1所述的方法，其特征在于，所述基于确定的位置，利用对应的分类方法，识别对应数据块的网页内容的主题，包括：

针对确定的树状结构中的第一节点，对所述第一节点的文档信息进行分析，确定对应所述第一节点的主题；

针对确定的树状结构中的第二节点，将所述第二节点对应的子节点的主题进行合并，得到对应所述第二节点的主题；所述第二节点为非终端节点。

3.根据权利要求1所述的方法，其特征在于，所述基于预设主题模型，根据与未知主题节点相邻的节点的主题，确定相邻的节点的主题转移至预设主题的概率，利用确定的概率，识别未知主题节点的主题，包括：

利用所述树状结构，确定与未知主题节点相邻的至少一个节点；

利用所述未知主题节点以及相邻的至少一个节点，构建马尔科夫链；

根据所述未知主题节点在所述马尔科夫链中的位置，以及与未知主题节点相邻的节点的主题，利用预设主题模型，确定相邻的节点的主题转移至预设主题的概率；

将概率最大的主题作为未知主题节点的主题。

4.根据权利要求1所述的方法，其特征在于，所述输出确定的主题对应节点的网页内容，包括：

确定与所述确定的主题对应节点所属的子树；

获取所述子树的网页内容；

输出并显示所述网页内容。

5.一种网页内容处理装置，其特征在于，所述装置包括：

解析模块，用于对网页进行解析，得到网页的树状结构；树状结构中的每个节点分别对应一个数据块；

识别模块，用于针对每个节点，确定节点在所述树状结构中对应的位置；并基于确定的位置，利用对应的分类方法，识别对应节点的主题；其中，所述识别模块，还用于针对未知主题节点，采用以下方式之一识别未知主题节点的主题：基于预设主题模型，根据与未知主题节点相邻的节点的主题，确定相邻的节点的主题转移至预设主题的概率，利用确定的概率，识别未知主题节点的主题；利用所述树状结构，确定每个节点在所述树状结构中的等级关系；利用确定的等级关系，确定未知主题节点与其他节点的等级差距；将满足等级差距小于预设等级阈值对应的节点的主题作为所述未知主题节点的主题；其中，所述未知主题节点为第一节点中未识别出主题的节点；所述第一节点为终端节点；

确定模块，用于从识别的所有主题中，确定满足预设条件的主题；

输出模块，用于输出确定的主题对应节点的网页内容。

6.一种计算机可读存储介质，其上存储有计算机程序，其特征在于，所述计算机程序被处理器执行时实现权利要求1至4任一项所述方法的步骤。

7.一种网页内容处理装置，其特征在于，包括：存储器、处理器以及存储在存储器上并可在处理器上运行的计算机程序；

其中，所述处理器用于运行所述计算机程序时，执行权利要求1至4任一项所述方法的步骤。