[发明专利]表单数据处理方法、装置、电子设备及存储介质在审
申请号: | 202010139064.5 | 申请日: | 2020-03-03 |
公开(公告)号: | CN111427884A | 公开(公告)日: | 2020-07-17 |
发明(设计)人: | 沈成 | 申请(专利权)人: | 中国平安人寿保险股份有限公司 |
主分类号: | G06F16/22 | 分类号: | G06F16/22;G06F16/2455;G06Q40/08 |
代理公司: | 深圳市沃德知识产权代理事务所(普通合伙) 44347 | 代理人: | 高杰;于志光 |
地址: | 518000 广东省深圳市福田区益田路5033号*** | 国省代码: | 广东;44 |
权利要求书: | 查看更多 | 说明书: | 查看更多 |
摘要: | |||
搜索关键词: | 表单 数据处理 方法 装置 电子设备 存储 介质 | ||
1.一种表单数据处理方法,其特征在于,所述方法包括:
从hive数据仓库中的master存储节点提取预设表;
在所述预设表中查询带有预设标签的数据属性条目;
根据所述数据属性条目对所述hive数据仓库中的slave存储节点上的数据项目列表进行筛选,得到表单数据;
对所述表单数据进行预处理;
根据配置信息对预处理后的所述表单数据进行分组,得到至少一个数据组;
对所述至少一个数据组中的数据进行标准化处理,得到标准数据;
对所述标准数据进行简化处理,得到简化标准数据;
基于UDF函数处理所述简化标准数据;
将处理后的数据存储至指定服务器。
2.如权利要求1所述的表单数据处理方法,其特征在于,所述根据所述数据属性条目对所述hive数据仓库中的slave存储节点上的数据项目列表进行筛选,得到表单数据包括:
从所述数据属性条目中获取数据地址;
根据所述数据地址关联对应的slave存储节点上的数据项目列表中的数据;
获取关联的数据作为所述表单数据。
3.如权利要求1所述的表单数据处理方法,其特征在于,所述对所述表单数据进行预处理包括:
当检测到任意表单数据中有缺省值时,获取所述缺省值对应的数据不为空的其他表单,计算所述其他表单中与所述缺省值对应的所有数据的平均值,以所述平均值填充所述缺省值,得到填充后的所述表单数据;及/或
当检测到任意表单数据中有异常值时,获取所述异常值对应的数据为可用的其他表单,计算所述其他表单中与所述异常值对应的所有数据的平均值,以所述平均值替换所述异常值,得到替换后的所述表单数据;
对填充及/或替换后的所述表单数据进行归一化处理。
4.如权利要求1所述的表单数据处理方法,其特征在于,所述对所述至少一个数据组中的数据进行标准化处理,得到标准数据包括:
调用collect_list()函数将所述至少一个数据组中的数据转化为数组形式;
调用concat_ws()函数对每个数据组中转化后的数据进行拼接;
将拼接后的数据确定为所述标准数据。
5.如权利要求1所述的表单数据处理方法,其特征在于,所述对所述标准数据进行简化处理,得到简化标准数据包括:
获取所述标准数据中每个条目下对应的数据;
计算每个条目下对应的数据的平均值;
整合计算的平均值,得到所述简化标准数据。
6.如权利要求1所述的表单数据处理方法,其特征在于,所述基于UDF函数处理所述简化标准数据包括:
对所述简化标准数据进行聚类运算;
计算聚类后的简化标准数据的重叠存储空间。
7.如权利要求6所述的表单数据处理方法,其特征在于,所述将处理后的数据存储至指定服务器包括:
对聚类后属于同一组的数据存储至所述指定服务器中的同一存储单元。
8.一种表单数据处理装置,其特征在于,所述装置包括:
提取单元,用于从hive数据仓库中的master存储节点提取预设表;
查询单元,用于在所述预设表中查询带有预设标签的数据属性条目;
筛选单元,用于根据所述数据属性条目对所述hive数据仓库中的slave存储节点上的数据项目列表进行筛选,得到表单数据;
预处理单元,用于对所述表单数据进行预处理;
分组单元,用于根据配置信息对预处理后的所述表单数据进行分组,得到至少一个数据组;
处理单元,用于对所述至少一个数据组中的数据进行标准化处理,得到标准数据;
简化单元,用于对所述标准数据进行简化处理,得到简化标准数据;
所述处理单元,还用于基于UDF函数处理所述简化标准数据;
存储单元,用于将处理后的数据存储至指定服务器。
该专利技术资料仅供研究查看技术是否侵权等信息,商用须获得专利权人授权。该专利全部权利属于中国平安人寿保险股份有限公司,未经中国平安人寿保险股份有限公司许可,擅自商用是侵权行为。如果您想购买此专利、获得商业授权和技术合作,请联系【客服】
本文链接:http://www.vipzhuanli.com/pat/books/202010139064.5/1.html,转载请声明来源钻瓜专利网。