[发明专利]一种基于大数据进行人员信息数据治理的方法

权利要求书

1.一种基于大数据进行人员信息数据治理的方法，其特征是该方法包括以下步骤：

1）数据标准：将人员信息数据标准化，对人员信息数据进行统一规范的管理，消除各部门间的人员信息数据壁垒；

2）数据备案：将人员信息数据的基本信息及原始数据上传进行登记备案，对人员信息数据进行备忘登记；

3）数据探查：从步骤2）中获取已登记备案的原始数据，对其进行人员信息数据探查，生成人员信息数据探查报告；

4）数据预清洗：从步骤3）中获取人员信息数据探查报告，掌握人员信息数据存在的质量问题，对人员信息数据进行预清洗操作，并将结果存储到hive临时库；

5）数据定义：以登记备案的人员信息数据为维度，来定义人员信息数据读取、处理及治理，生成步骤6）所需的配置，形成人员信息数据定义结果供大数据治理平台调用；

6）数据接入处理：根据业务需求，基于步骤3）-步骤5），进行数据读取将多源异构的人员信息数据接入大数据处理中心，在接入过程中进行人员信息数据处理，并与人员信息数据提供方进行数据核对，最后将处理完的人员信息数据写文件存储；

7）数据资产：对步骤6）中接入的人员信息数据进行资产管理，掌握人员信息数据资产的情况；

所述步骤3）中的人员信息数据探查包括两次重复的多维度探查分析，一次是对原始数据的探查，另一次是对步骤4）中数据预清洗后的人员信息数据再次进行探查；所述多维度探查分析包括对人员信息数据量探查、对人员信息数据的字段与质量探查、问题数据探查；

所述步骤4）中数据预清洗包括条件过滤，字段拼接、拆分与替换字符串操作；所述条件过滤是提供为空、非空、范围规则这三种选择，让前台以查询条件的形式作为参数传给后台；所述字段拼接、拆分与替换字符串是通过CONCAT函数和REPLACE函数来拼接拆分已有字段及替换字符串；

所述步骤5）中数据定义是基于数据标准来定义，定义包括数据读取定义、数据格式定义、数据处理定义、数据治理定义；所述数据读取定义是根据人员信息数据探查结果，定义原始数据从源平台中的读取，按照业务需求来定义人员信息数据的文件字符集；所述数据格式定义是参考数据标准，完成人员信息原始字段与人员信息标准字段的映射；所述数据处理定义包括step1数据清洗策略定义，step2数据提取策略定义；所述数据治理定义包括资源目录注册，资源目录注册是将数据备案中已登记的人员信息数据，同步注册到数据资源目录，全面掌握人员信息数据的情况；

所述步骤6）中数据读取是从人员信息数据预清洗的hive临时库中抽取数据，检查数据定义是否一致，如果一致则进行数据读取，如果不一致则停止读取；数据核对是在数据读取阶段同步进行的环节，在某一时间对账时间节点内，检查人员信息数据的完整性和正确性；

所述步骤6）中人员信息数据处理包括step1清洗和step2提取，具体如下：

step1清洗：根据数据清洗策略定义，对实时接入的人员信息数据进行条件过滤，字段拼接、拆分与替换字符串操作；

step2提取：根据数据提取策略定义，从源格式数据中提取出目的格式数据，针对实时接入的人员信息数据的部分字段、人员信息数据的关系进行提取；

所述步骤4）中数据预清洗、步骤5）中step1数据清洗策略定义、步骤6）中step1清洗的区别在于所针对的数据对象不同，步骤4）是针对样例数据，而步骤5）、步骤6）是针对真实的数据；步骤5）和步骤6）的区别又在于：两者的用途不一样，步骤5）是清洗的规则定义，而步骤6）是按步骤5）对真实数据进行处理。

2.根据权利要求1所述的一种基于大数据进行人员信息数据治理的方法，其特征是所述对人员信息数据量探查是探查出所有的人员信息数据量情况；所述对人员信息数据的字段与质量探查包括：a）字段空值率探查，b）命名实体探查,c）类型及格式探查。

3. 根据权利要求2所述的一种基于大数据进行人员信息数据治理的方法，其特征是所述字段空值率探查，具体为:通过公式（1）统计出字段空值占比情况：

（1）

式中：Rate表示空值率，f（k）表示字段空值数，k表示下界，n表示上界，m表示总行数，z表示特殊字符行数。