[发明专利]一种信息处理方法及装置

说明书

技术领域

本发明涉及互联网技术领域，具体涉及一种信息处理方法及装置。

背景技术

随着互联网技术的快速发展，人们通过互联网获取热点信息也变的越来越频繁，如何为人们从互联网上的海量数据中提取出最新的热点话题已成为一个重要的研究课题。

现有技术中，人工从数据源中提取至少两个词汇并组成词表，并根据词表中各个词汇的权重选出至少两个词汇作为关键词，进而根据关键词之间的相似度直接对关键词进行话题聚类，然而，直接通过从数据源中提取至少两个词汇组成词表而不考虑提取的词汇在数据源中出现的频率，会导致词表的生成具有一定的误差，同时，对关键词进行话题聚类前并未除去其中的离散点，会降低话题聚类的速度和准确度。如何准确地构建词表，提高话题聚类的速度和准确度已成为亟待解决的问题。

发明内容

本发明实施例提供了一种信息处理方法及装置，可以实现准确地构建词表，并在消除离散点后再进行话题聚类，从而提高了话题聚类的速度和准确度。

本发明实施例提供了一种信息处理方法，包括：

解析预先获取的超文本标记语言HTML文档集，提取所述HTML文档集包含的文本数据集；

对所述文本数据集进行分词处理，获取文本分词表；

对所述文本分词表中的各个词汇进行词频分析，构建文本向量空间矩阵；

消除所述文本向量空间矩阵中的离散点文本向量，并获取消除离散点文本向量后的所述文本向量空间矩阵中各个文本向量间的文本相似度矩阵；

根据所述文本相似度矩阵，对所述文本数据集进行话题聚类。

本发明实施例还提供了一种信息处理装置，包括：

提取模块，用于解析预先获取的超文本标记语言HTML文档集，提取所述HTML文档集包含的文本数据集；

第一获取模块，用于对所述文本数据集进行分词处理，获取文本分词表；

构建模块，用于对所述文本分词表中的各个词汇进行词频分析，构建文本向量空间矩阵；

处理模块，用于消除所述文本向量空间矩阵中的离散点文本向量，并获取消除离散点文本向量后的所述文本向量空间矩阵中各个文本向量间的文本相似度矩阵；

聚类模块，用于根据所述文本相似度矩阵，对所述文本数据集进行话题聚类。

本发明实施例所描述的方法可解析预先获取的超文本标记语言HTML文档集，提取该HTML文档集包含的文本数据集，对该文本数据集进行分词处理，获取文本分词表，并对该文本分词表中的各个词汇进行词频分析，构建文本向量空间矩阵，进而消除该文本向量空间矩阵中的离散点文本向量，获取消除离散点文本向量后的该文本向量空间矩阵中各个文本向量间的文本相似度矩阵，最后根据该文本相似度矩阵，对该文本数据集进行话题聚类，可以实现准确地构建词表，并在消除离散点后再进行话题聚类，从而提高了话题聚类的速度和准确度。

附图说明

为了更清楚地说明本发明实施例中的技术方案，下面将对实施例描述中所需要使用的附图作简单地介绍，显而易见地，下面描述中的附图仅仅是本发明的一些实施例，对于本领域普通技术人员来讲，在不付出创造性劳动的前提下，还可以根据这些附图获得其他的附图。

图1是本发明实施例提供的一种信息处理方法的第一实施例流程示意图；

图2是本发明实施例提供的一种信息处理方法的第二实施例流程示意图；

图3是本发明实施例提供的一种信息处理装置的第一实施例结构示意图；

图4是本发明实施例提供的一种信息处理装置的第二实施例结构示意图。

具体实施方式

下面将结合本发明实施例中的附图，对本发明实施例中的技术方案进行清楚、完整地描述，显然，所描述的实施例仅仅是本发明一部分实施例，而不是全部的实施例。基于本发明中的实施例，本领域普通技术人员在没有作出创造性劳动前提下所获得的所有其他实施例，都属于本发明保护的范围。

请参阅图1，为本发明实施例提供的一种信息处理方法的第一实施例流程示意图。本实施例中所描述的方法，包括以下步骤：

S101、解析预先获取的超文本标记语言HTML文档集，提取所述HTML文档集包含的文本数据集。

在一些可行的实施方式中，可利用网络爬虫预先获取目标统一资源定位符URL集中每一个URL对应的超文本标记语言HTML文档，并生成HTML文档集。

其中，网络爬虫是一个自动提取网页的程序，它为搜索引擎从万维网上下载网页，是搜索引擎的重要组成部分。