[发明专利]大数据治理中实现辅助制定数据标准的系统及方法

权利要求书

1.一种大数据治理中实现辅助制定数据标准的系统，其特征在于，所述的系统包括：

数据获取模块，用于从第三方数据源中获取所需的元数据；

任务创建模块，与所述的数据获取模块相连接，用于创建对表类型元数据和字段类型元数据的分析任务，对整个任务过程进行监控并记录日志；

所述的任务创建模块具体包括如下处理过程：

（3.1）判断是否为表类型元数据，如果是，继续处理过程（1-3.2）；否则，元数据为字段类型元数据，继续处理过程（2-3.2）；

（1-3.2）查询分析范围内的表类型元数据，以每50条数据为一个线程进行处理分析，并将分析处理进度信息输入日志；

（1-3.3）判断表类型元数据信息是否为英文或中文，如果是，则将表名按照下划线进行拆分，并缓存表类型的实例ID；否则，将结果输入日志，退出步骤；

（1-3.4）判断表类型元数据信息是否为中文，如果是，则将表描述名中的中文按照动词和名词分词；否则，将表描述名中的英文按照英语单词进行分词；

（2-3.2）查询分析范围内的字段类型元数据，以每50条数据为一个线程进行处理分析，并将分析处理进度信息输入日志；

（2-3.3）判断字段类型元数据信息是否为英文或中文，如果是，则将字段名按照下划线进行拆分，并缓存字段类型实例ID；否则，将结果输入日志，退出步骤；

（2-3.4）判断字段类型元数据信息是否为中文，如果是，则将字段描述名中的中文按照动词和名词分词；否则，将字段描述名中的英文按照英语单词进行分词；

智能分析模块，与所述的任务创建模块相连接，用于实现元数据的分词和聚类分析；

结果存储及展示模块，与所述的智能分析模块相连接，用于将信息存入数据库中，通过列表展示元数据信息；

所述的结果存储及展示模块包括：

存储单元，与所述的智能分析模块相连接，用于将表类型元数据和字段类型元数据的分析结果存储到数据库中；

查询单元，与所述的智能分析模块相连接，用于查看对表类型元数据和字段类型元数据的分析结果；

展示单元，与所述的智能分析模块相连接，用于通过字符云图方式展现分词结果的关联性，并通过列表的方式展现同类元数据的元数据信息；

最后通过SQL对分析结果进行查询并通过echarts第三方工具以字符云图方式展现分词结果的关联性，辅助梳理数据的关联性，以及通过列表的方式展现同类元数据的元数据信息，辅助制定该类元数据的数据标准。

2.根据权利要求1所述的大数据治理中实现辅助制定数据标准的系统，其特征在于，所述的任务创建模块创建的任务内容包括任务名称、任务状态、任务开始时间、任务结束时间和任务说明信息。

3.根据权利要求2所述的大数据治理中实现辅助制定数据标准的系统，其特征在于，所述的任务状态包括“开始”、“异常”、“结束”三种状态。

4.根据权利要求1所述的大数据治理中实现辅助制定数据标准的系统，其特征在于，所述的智能分析模块包括：

表类型元数据分析单元，与所述的任务创建模块相连接，用于对表类型元数据进行分析；

字段类型元数据分析单元，与所述的任务创建模块相连接，用于对字段类型元数据进行分析。

5.根据权利要求1所述的大数据治理中实现辅助制定数据标准的系统，其特征在于，所述的结果存储及展示模块存储的信息包括拆分结果、拆分类型和所拆分信息的上下文环境。

6.一种基于权利要求1所述的系统实现大数据治理中的数据标准辅助制定的方法，其特征在于，所述的方法包括以下步骤：

（1）所述的数据获取模块获取元数据；

（2）所述的任务创建模块创建分析任务，并监控任务过程；

（3）所述的智能分析模块接收任务信息，并分析数据；

（4）所述的结果存储及展示模块对分析结果进行存储及展示。

7.根据权利要求6所述的实现大数据治理中的数据标准辅助制定的方法，其特征在于，所述的步骤（3）具体包括以下步骤：

（3.1）判断是否为表类型元数据，如果是，继续步骤（1-3.2）；否则，元数据为字段类型元数据，继续步骤（2-3.2）；

（1-3.2）查询分析范围内的表类型元数据，以每50条数据为一个线程进行处理分析，并将分析处理进度信息输入日志；

（1-3.3）判断表类型元数据信息是否为英文或中文，如果是，则将表名按照下划线进行拆分，并缓存表类型的实例ID；否则，将结果输入日志，退出步骤；

（1-3.4）判断表类型元数据信息是否为中文，如果是，则将表描述名中的中文按照动词和名词分词；否则，将表描述名中的英文按照英语单词进行分词；

（2-3.2）查询分析范围内的字段类型元数据，以每50条数据为一个线程进行处理分析，并将分析处理进度信息输入日志；

（2-3.3）判断字段类型元数据信息是否为英文或中文，如果是，则将字段名按照下划线进行拆分，并缓存字段类型实例ID；否则，将结果输入日志，退出步骤；

（2-3.4）判断字段类型元数据信息是否为中文，如果是，则将字段描述名中的中文按照动词和名词分词；否则，将字段描述名中的英文按照英语单词进行分词。