[发明专利]一种数据管理方法与管理平台

摘要

本发明公开了一种数据管理方法与管理平台，针对多元、异构、多语种的数据进行规范化治理，采用B/S架构设计，通过网页完成数据资源管理、治理工作的配置，后端通过二次开发建设分布式数据清洗治理程序，前端配置与后端程序架构结合，自动化完成数据的规范化清洗和治理工作。网页架构多用户的模式便于人机交互，后端的多线程、分布式技术高效快捷完成清洗工作，对清洗技术的开发更具备包容性，对世界多个地区，多类语言完成数据的清洗工作。本发明所公开的清洗平台系统实施在浏览器/服务器架构中，通过建立分布式环境的形式来构建协同清理系统，能够实现多端多线程共同数据治理，并且增强清洗方法的适应性。

主权项

一种基于B/S架构的分布式数据治理平台，其包括至少一个承载有浏览器的客户终端与至少一个服务器端，其中服务器端包括有用户管理模块、数据存储模块、数据标准与标签标准体系模块、规则存储模块、规则配置模块以及数据处理模块；其中，用户管理模块用于对用户进行身份验证，分配用户角色，用户角色包括数据清洗用户、规则配置用户、普通查看用户；其中，数据存储模块用于存储原始的数据文件，其采用关系型数据库来存储数据；其中，数据标准与标签标准体系模块用于保存标准的数据定义、数据格式等信息，通过标签体系来构建标准数据形式，且建立不同数据格式之间的转换关系；其中，规则存储模块用于存储经过用户设置的数据清洗规则；其中，规则配置模块用于设置数据清洗规则；其中，数据处理模块包括结构化数据清洗单元、非结构数据清洗单元，分别用于实现结构化数据的清洗以及非结构化数据的清洗；数据处理模块对外提供统一的平台接口，对于多样化、异构数据以及多种处理规则，采用一站式平台实现数据清洗。