[发明专利]一种大数据分类处理方法

说明书

技术领域

本发明涉及数据处理技术领域，特别涉及一种大数据分类处理方法。

背景技术

随着移动网络和移动终端的发展，网络端中资讯的发布数量也呈爆发式增长，人们通过网络获取资讯也越来越方便，如浏览新闻、看电影、玩游戏、搜索、购物、发布信息等。

但是，大量的数据资源如果不能够准确的分类，那么在阅读数据资源时将花费较多时间与精力，例如，对金融领域来说，由于金融资讯篇幅较长并且资讯中有较多的专业术语，若不是该领域的从业者，通常很难充分理解资讯中提及的关键内容，即分类标签。而目前分类标签通常是用户在上传资源时手动输入的，不同的用户行业经验可能存在较大的差异，因此输入的分类标签具有较强的主观性，造成数据分类的准确度低下。

发明内容

本发明实施例的目的在于提供一种大数据分类处理方法，提高了数据分类的准确度。

为达到上述目的，本发明实施例公开了一种大数据分类处理方法，所述方法包括：

获得目标资讯组，所述目标资讯组中包含至少两条目标资讯；

对所述目标资讯组中每一目标资讯进行数据清洗，得到针对每一目标资讯的纯文本资讯；

对每一所述纯文本资讯进行关键词提取，将提取到的关键词作为分类标签；

根据所述分类标签，对所述目标资讯组中包含的目标资讯进行分类，得到分类结果。

可选的，所述对所述目标资讯组中每一目标资讯进行数据清洗，得到针对每一目标资讯的纯文本资讯，包括：

分别对所述目标资讯组中每一目标资讯中的HTML标签和/或图像进行过滤，得到针对每一目标资讯的纯文本资讯。

可选的，所述对每一所述纯文本资讯进行关键词提取，将提取到的关键词作为分类标签，包括：

利用词频-逆向文件频率TF-IDF算法，对第一处理资讯中包含的词语进行权重计算，得到每一词语的权重值，所述第一处理资讯为：采用预设的分词库对所述纯文本资讯中包含的无关词进行过滤后得到的资讯，所述无关词为与所述目标资讯所属领域无关的词语；

将第一词语序列的前第一预设数量个词语作为分类标签，所述第一词语序列为按照词语的权重值从大到小排列的词语序列。

可选的，所述方法还包括：

针对所述目标资讯组中每一目标资讯，基于该目标资讯对应关键词的权重值以及该目标资讯的发布时间，计算该目标资讯的热度。

可选的，所述方法还包括：

针对所述目标资讯组中所有目标资讯对应的关键词进行向量化，生成针对所述目标资讯组的文本向量空间，所述文本向量空间中每一维向量均对应一个关键词；

基于所述文本向量空间，对每一目标资讯的关键词进行聚类，得到第一数量的类簇；

将每一类簇的第二词语序列的前第二预设数量个关键词作为该类簇的代表词，所述第二词语序列为按照关键词对应的权重值从大到小排列的词语序列。

可选的，所述方法还包括：

将所述分类结果推送至显示界面，所述显示界面为展示资讯内容的界面。

综上可见，本发明实施例提供的方案中，在获得目标资讯组之后，对目标资讯组中每一目标资讯进行数据清洗，得到针对每一目标资讯的纯文本资讯；对每一纯文本资讯进行关键词提取，将提取到的关键词作为分类标签；根据分类标签，对目标资讯组中包含的目标资讯进行分类，得到分类结果。应用本发明实施例提供的方案，提高了数据分类的准确度。

附图说明

为了更清楚地说明本发明实施例或现有技术中的技术方案，下面将对实施例或现有技术描述中所需要使用的附图作简单地介绍，显而易见地，下面描述中的附图仅仅是本发明的一些实施例，对于本领域普通技术人员来讲，在不付出创造性劳动的前提下，还可以根据这些附图获得其他的附图。

图1为本发明实施例提供的一种大数据分类处理方法的流程示意图。

图2为本发明实施例提供的另一种大数据分类处理方法的流程示意图。

图3为本发明实施例提供的再一种大数据分类处理方法的流程示意图。

图4为本发明实施例提供的还一种大数据分类处理方法的流程示意图。

具体实施方式

下面将结合本发明实施例中的附图，对本发明实施例中的技术方案进行清楚、完整地描述，显然，所描述的实施例仅仅是本发明一部分实施例，而不是全部的实施例。基于本发明中的实施例，本领域普通技术人员在没有作出创造性劳动前提下所获得的所有其他实施例，都属于本发明保护的范围。

下面通过具体实施例，对本发明进行详细的说明。