[发明专利]一种数据标准处理系统

权利要求书

1.一种数据标准处理系统，其特征在于，包括：标准采集模块、标准处理模块、标准治理模块、标准推送模块；

所述标准采集模块，用于各类型标准数据的采集；

所述标准处理模块，用于对采集到的各类型标准数据进行规范化处理；

所述标准治理模块，用于规范化处理后的标准数据的元数据审核及标准订阅服务资源目录生成；

所述标准推送模块，用于将通过规则校验的标准数据推送给订阅者。

2.根据权利要求1所述的数据标准处理系统，其特征在于，所述标准数据的采集方式为：人工采集及互联网采集；

所述互联网采集具体为：部署在客户端的采集器通过HTTP请求向部署在服务端的注册器注册采集地址，注册成功后，注册器将包含采集网页、存储地址、采集周期的配置参数回传采集器；采集器按照配置参数，周期性采集相关网页，并将采集结果存储至服务端目的地址。

3.根据权利要求1所述的数据标准处理系统，其特征在于，所述规范化处理具体包括：标准提取与标准去重；

标准提取：对采集到的各类型标准数据进行图像识别，将图片类、报表类数据文件转换为TXT文件；在标准数据处理规则模板中，选择对应模板，对TXT文件进行统一处理，处理过程使用TextRank算法进行文本词素分析；

标准去重：使用现有Key-Value校验方法进行去重，引入外部Key-Value数据库RocksDB作为去重存储数据库，计算上使用Flink计算引擎；使用进行标准提取后的数据，以标准文件名、标准文件编码、字段名、字段中文名四个字段为去重依据，将去重字段进行词素分析，将分析结果作为Key，以标准发布时间作为Value，存储至RocksDB，按批次逐条比对数据；Key值不存在的数据则作为新数据；Key值已存在的数据则比较Value值大小，Value值小的视作过期数据，按Value值大的数据更新，经过去重后的数据，存储至MYSQL数据库对应的原始标准业务表中。

4.根据权利要求3所述的数据标准处理系统，其特征在于，所述文本词素分析具体为：按切分的词素从TXT文件各行中，提取与标准有关的内容，进而提取标准文件名、文件编号、业务域、标准详情的信息。

5.根据权利要求1所述的数据标准处理系统，其特征在于，所述标准治理模块根据业务域载入相应元数据规则；使用正则匹配、业务依赖的规则对数据进行核验，核验后的数据联查MYSQL数据库业务域字典集表，生成最终数据标准；依赖数据中的目录层级字段，按照1至5级分类标准，写入相应文件，同时写入MYSQL数据库对应的标准业务表中。

6.根据权利要求1所述的数据标准处理系统，其特征在于，所述标准推送模块通过消息队列、接口调用、数据库对接的方式上传标准治理结果数据；根据增量字段、订阅周期、订阅地址、订阅方式生成对应服务并进行服务发布；发布后的服务根据订阅者的不同，记录对应数据推送/订阅检查点；根据订阅方式参数，以数据库对接或HTTP网络请求的方式，批量发送数据；确认订阅者数据接收完成后，更新检查点并完成数据存储；当检查点出现异常，回溯检查位置，重新推送数据，以确保数据精准推送一次。