[发明专利]一种大数据的筛选方法

说明书

技术领域

本发明涉及数据处理领域，特别是涉及一种大数据的筛选方法。

背景技术

随着信息化的高速发展，大数据应运而生，为了弥补传统方法无法处理如此量大且非结构的大数据的缺陷，人们研究出了云计算，以云计算为基础的信息存储、分享和挖掘手段，可以便宜、有效地将这些大量、高速、多变化的终端大数据存储下来，然而如何对这些数据进行筛选分析，并且使用筛选结果从不同维度对企业决策进行指导已经成为热门话题。

现有技术中，对数据的筛选分析方法仅是对数据在某单一维度下进行展 开分析，或者在多个维度下进行组合筛选。单一维度下的筛选缺陷在于如果数据信息点隐藏在多个筛选维度下，则很难被找到；组合筛选的缺陷在于确定某一维度子项以进行数据分析时，子项的选择很大程度取决于做出判断的人的经验，导致容易出现错误的判断情况。无论是单一维度的筛选方式或是组合维度的筛选方式，针对筛选过程中因选择了错误的筛选维度而无法得到最终的筛选结果时，均需要重新进行筛选，严重影响筛选效率。

例如，在视频领域，通常在操作平台上通过不同筛选维度的组合实现对目标信息的流量或者卡顿情况的监测分析，筛选维度包括：地域、城市、操作系统、浏览器、性别、年龄段等，现有技术的监测方法是根据先前经验在所有筛选维度中分别选取其子项对目标信息进行组合筛选分析，如果该目标信息恰好为问题信息点，则完成监测，否则重新选取筛选维度子项的其它排列组合进行筛选分析完成监测。该方法虽然能实现对视频流量、视频卡顿等信息的监测，但整个处理过程信息处理量大，导致处理器负担较大，处理效率低，不利于推广应用。并且，即使利用该方法找到了疑似问题的信息点，由于存在大量其他排列组合的可能，因此也很难确认该信息点就是最优的。

发明内容

本发明实施例的目的在于提供一种大数据的筛选方法，以提高筛选分析的准确度。

为了达到上述目的，本发明实施例公开了一种大数据的筛选方法，所述方法包括：

按照目标维度筛选维度对待筛选的大数据组中的大数据进行筛选分析；

将满足预设条件要求的、对应于所述目标筛选维度下的至少一个维度子项的数据保存为下一轮的待筛选数据组；

根据预设的筛选维度的数量和目标要求，确定筛选轮数是否结束满足预设筛选数量；

如果是，结束所述大数据的筛选过程。

可选的，根据预设的筛选维度的数量和目标要求，确定筛选轮数是否结束满足预设筛选数量之前，在所述方法还包括：

建立查询结果表，将每一轮的筛选结果放入所述查询结果表中；

所述根据预设的筛选维度的数量和目标要求，确定筛选轮数是否结束满足预设筛选数量，包括：

根据预设的筛选维度的数量和目标要求，根据所述查询结果表确定筛选轮数是否结束满足预设筛选数量。

可选的，所述查询结果的索引包括，根据筛选条件建立索引，通过保存在所述索引中的页码找到 查询结果表中对应的记录。

可选的，在所述将满足目标要求的、对应于所述筛选维度下的至少一个维度子项的数据保存为下一轮的待筛 选数据组后，生成和保存相应的筛选路径，且在每一轮筛选分析能够撤回，在撤回后，所述撤回的筛选分析下已生成和保存的筛选路径被删除。

可选的，所述目标要 求是所述待筛选数据组中的数据在各维度子项下对应的数值最大或最小，并 且最大数值和最小数值之差的绝对值大于预定阈值；或各维度子项下数据对应的数值相对于参考值的波动范围大于预定范围。

其中，所述多轮筛选分析的轮数根据筛选维度的数量和目标要求来确定。

本发明提供的筛选分析方法及系统，通过多个筛选维度对待处理数据进 行逐步筛选，形成多轮筛选分析，每一轮筛选分析都是将上一轮的筛选结果 作为本轮筛选分析待筛选数据组，使得每轮筛选分析都比上一轮筛选分析的 数据量小，因此与现有技术一次性在多个筛选条件下进行组合筛选相比，不 容易因数据量过大造成系统负担过大从而崩溃的问题，且每一轮筛选分析中 要满足的目标要求均根据其待筛选数据组在该轮的筛选子项下的参考值设 置，提高了筛选分析的准确度。

附图说明

为了更清楚地说明本发明实施例或现有技术中的技术方案，下面将对实施例或现有技术描述中所需要使用的附图作简单地介绍，显而易见地，下面描述中的附图仅仅是本发明的一些实施例，对于本领域普通技术人员来讲，在不付出创造性劳动的前提下，还可以根据这些附图获得其他的附图。

图1为本发明实施例提供的大数据的筛选方法的流程示意图。

具体实施方式