[发明专利]表单数据处理方法、装置、电子设备及存储介质

说明书

本发明提供一种表单数据处理方法、装置、电子设备及存储介质。该方法能够从hive数据仓库中的master存储节点提取预设表，并在所述预设表中查询带有预设标签的数据属性条目，进一步根据所述数据属性条目对所述hive数据仓库中的slave存储节点上的数据项目列表进行筛选，得到表单数据，使筛选过程方便可靠，进一步对所述表单数据进行预处理，避免数据溢出，根据配置信息对预处理后的所述表单数据进行分组，得到至少一个数据组，对所述至少一个数据组中的数据进行标准化处理，得到标准数据，并对所述标准数据进行简化处理，得到简化标准数据，基于UDF函数处理所述简化标准数据；将处理后的数据存储至指定服务器，不仅节约了存储空间，还提高了访问速度。

技术领域

本发明涉及数据处理技术领域，尤其涉及一种表单数据处理方法、装置、电子设备及存储介质。

背景技术

目前，因为业务需求经常需要对数据库中的表单进行整理、查询及汇总，通常所采用的方式是编辑查询及汇总语句，因为经常会重复计算一些表单数据，导致编写的命令是重复计算的命令，消耗了内存，而且浪费时间，并且由于可移植性差，导致在不同的终端对不同类型的保单进行查询、汇总操作时需要重新输入命令语句。

发明内容

鉴于以上内容，有必要提供一种表单数据处理方法、装置、电子设备及存储介质，能够有效节约存储空间，进而提升了对表单中数据的访问速度。

一种表单数据处理方法，所述方法包括：

从hive数据仓库中的master存储节点提取预设表；

在所述预设表中查询带有预设标签的数据属性条目；

根据所述数据属性条目对所述hive数据仓库中的slave存储节点上的数据项目列表进行筛选，得到表单数据；

对所述表单数据进行预处理；

根据配置信息对预处理后的所述表单数据进行分组，得到至少一个数据组；

对所述至少一个数据组中的数据进行标准化处理，得到标准数据；

对所述标准数据进行简化处理，得到简化标准数据；

基于UDF函数处理所述简化标准数据；

将处理后的数据存储至指定服务器。

根据本发明优选实施例，所述根据所述数据属性条目对所述hive数据仓库中的slave存储节点上的数据项目列表进行筛选，得到表单数据包括：

从所述数据属性条目中获取数据地址；

根据所述数据地址关联对应的slave存储节点上的数据项目列表中的数据；

获取关联的数据作为所述表单数据。

根据本发明优选实施例，所述对所述表单数据进行预处理包括：

当检测到任意表单数据中有缺省值时，获取所述缺省值对应的数据不为空的其他表单，计算所述其他表单中与所述缺省值对应的所有数据的平均值，以所述平均值填充所述缺省值，得到填充后的所述表单数据；及/或

当检测到任意表单数据中有异常值时，获取所述异常值对应的数据为可用的其他表单，计算所述其他表单中与所述异常值对应的所有数据的平均值，以所述平均值替换所述异常值，得到替换后的所述表单数据；

对填充及/或替换后的所述表单数据进行归一化处理。

根据本发明优选实施例，所述对所述至少一个数据组中的数据进行标准化处理，得到标准数据包括：

调用collect_list()函数将所述至少一个数据组中的数据转化为数组形式；