[发明专利]一种基于Spark的数据处理方法在审
| 申请号： | 202211629246.6 | 申请日： | 2022-12-19 |
| 公开（公告）号： | CN115618194A | 公开（公告）日： | 2023-01-17 |
| 发明（设计）人： | 顾颂;程亮;郭彦涛;曹红艳 | 申请（专利权）人： | 江苏未至科技股份有限公司 |
| 主分类号： | G06F17/18 | 分类号： | G06F17/18;G06F16/182 |
| 代理公司： | 无锡盛阳专利商标事务所(普通合伙) 32227 | 代理人： | 黄莹;张宁 |
| 地址： | 215000 江苏省苏州市高*** | 国省代码： | 江苏;32 |
| 权利要求书： | 查看更多 | 说明书： | 查看更多 |
| 摘要： | |||
| 搜索关键词： | 一种 基于 spark 数据处理 方法 | ||
1.一种基于Spark的数据处理方法，其特征在于，其包括以下步骤：
S1：构建Spark运行环境和HDFS文件系统；
S2：确认参与计算的所有表单数据；
所述表单数据包括：主体表和指标表；
所述主体表和所述指标表为1：N的关系，其中，N为大于1的自然数；
所述主体表中记录了所有参与计算的主体数据；
每个所述指标表中分别记录了所述主体数据对应的不同类型的参数指标；
S3：确定需要统计的数据，记作：统计数据；
确定每个所述指标表中参与统计计算的参数，记作：待计算指标参数；
S4：确定所述统计数据和每个所述待计算指标参数的计算关系；
所述计算关系包括：单表运算关系和整体运算关系；
所述单表运算关系为：所述指标表内每个所述待计算指标需要参与的计算，输出每个所述指标表对应的单表统计结果；每个所述指标表对应一个所述单表运算关系；
所述整体运算关系为：所有的所述单表统计结果需要参与的计算，输出为每个所述主体数据对应的统计结果；
S5：将所有参与计算的表单数据载入到HDFS系统中，并在HDFS文件系统中构建一个临时表：记作TempFile；
S6：将所述单表运算关系和所述整体运算关系配置到Spark程序中，分别记作：单表计算程序和整体运算程序；
S7：基于所述单表计算程序分别对每个所述指标表中所有的待计算指标参数进行运算，将得到的计算结果记作：单表统计结果；
S8：将每个所述主体数据对应的所述单表统计结果汇总到TempFile中，并与所述主体数据建立关联关系；
S9：基于所述整体运算关系，对TempfFile中每个所述主体数据对应的所述单表统计结果分别计算，得到每个所述主体数据对应的统计结果。
2.根据权利要求1所述一种基于Spark的数据处理方法，其特征在于：所述指标表与所述待计算指标参数的关系为1：M，其中M为大于等于1的自然数。
该专利技术资料仅供研究查看技术是否侵权等信息，商用须获得专利权人授权。该专利全部权利属于江苏未至科技股份有限公司，未经江苏未至科技股份有限公司许可，擅自商用是侵权行为。如果您想购买此专利、获得商业授权和技术合作，请联系【客服】
本文链接：http://www.vipzhuanli.com/pat/books/202211629246.6/1.html，转载请声明来源钻瓜专利网。
