[发明专利]一种数据处理方法及装置

说明书

技术领域

本发明实施例涉及数据挖掘技术，尤其涉及一种数据处理方法及装置。

背景技术

近年来随着大数据技术突飞猛进的发展，挖掘数据价值是企业和政府行业管理不可或缺的一部分。目前，挖掘数据价值通常有两种模式：传统的统计分析和新型的机器学习。

统计分析就是常见的分组以及汇总分析，统计的结果通常包括“和”、“差”、“平均值”以及“分布概率”、“相关系数”等统计学内容，通常会以统计报表的形式提供给企业决策层作为决策的数据依据。聚类分析是无监督的机器学习算法，属于探索性的数据分析方法，通常，利用聚类分析将看似无序的对象进行分组、归类，以达到更好地理解研究对象的目的。聚类结果要求组内对象相似性较高，组间对象相似性较低。统计分析的主观性较强，难以进行前瞻性分析，聚类分析的结果通常没有定量的分析，此外，由于缺少具体的数据分析，聚类结果难以直接指导决策。

针对上述问题，目前尚未提出有效的解决方案。

发明内容

本发明提供一种数据处理方法及装置，以实现提高数据探索效率、统计效率、批量自动处理能力及信息可读性。

第一方面，本发明实施例提供了一种数据处理方法，包括：

获取待处理电子表格数据；

查询所述待处理电子表格数据中包含非数字信息的列，将查询到的列进行数字化处理，生成处理电子表格数据；

根据所述待处理电子表格数据获取多组聚类组合，其中每组聚类组合包含至少一个聚类字段，每个聚类字段是所述待处理电子表格数据中的一个列字段；

提取一组聚类组合，根据所述聚类组合查询所述处理电子表格数据中对应信息，将所述对应信息进行聚类分析，获取指定的多个聚类样本，统计每个聚类样本占所述对应信息的比例后进行保存；统计所述聚类组合中每个聚类字段下的对应信息分别在所述每个聚类样本中所占的比例后进行保存；

返回执行提取一组聚类组合的操作，直至预设的多组聚类组合全部处理完毕。

第二方面，本发明实施例还提供了一种数据处理装置，包括：

待处理电子表格数据获取模块，用于获取待处理电子表格数据；

电子表格数据数字化处理模块，用于查询所述待处理电子表格数据中包含非数字信息的列，将查询到的列进行数字化处理，生成处理电子表格数据；

聚类组合获取模块，用于根据所述待处理电子表格数据获取多组聚类组合，其中每组聚类组合包含至少一个聚类字段，每个聚类字段是所述待处理电子表格数据中的一个列字段；

聚类统计分析模块，用于提取一组聚类组合，根据所述聚类组合查询所述处理电子表格数据中对应信息，将所述对应信息进行聚类分析，获取指定的多个聚类样本，统计每个聚类样本占所述对应信息的比例后进行保存；统计所述聚类组合中每个聚类字段下的对应信息分别在所述每个聚类样本中所占的比例后进行保存；

循环模块，用于返回执行提取一组聚类组合的操作，直至预设的多组聚类组合全部处理完毕。

本发明通过将电子表格数据中非数字信息进行数字化处理，在聚类统计分析过程中循环批量处理多组聚类组合，并针对聚类分析结果进行统计分析，解决了数据分析结果可读性较差和聚类分析中存在的手动遍历所有聚类组合效率低及聚类分析结果缺乏定量分析和进一步统计分析的问题，提高了数据探索效率、统计效率、批量自动处理能力及信息可读性。

附图说明

图1a是本发明实施例一中的一种数据处理方法的流程图；

图1b是本发明实施例一中的一种典型原始电子表格数据的示意图；

图1c是本发明实施例一中的一种待处理电子表格数据的示意图；

图1d是本发明实施例一中的一种聚类组合的示意图；

图1e是本发明实施例一中的一种聚类统计分析结果的示意图；

图1f是本发明实施例一中的一种聚类统计分析结果的示意图；

图1g是本发明实施例一中的一种工作簿命名格式的示意图；

图1h是本发明实施例一中的一种第二工作表保存至第一工作簿的示意图；

图1i是本发明实施例一中的一种第三工作表保存至第一工作簿的示意图；

图2是本发明实施例二中的一种优选的数据处理方法的流程图；

图3是本发明实施例三中的一种数据处理装置的结构示意图。

具体实施方式