[发明专利]一种数据管理方法与管理平台

权利要求书

1.一种基于B/S架构的分布式数据治理平台，其包括至少一个承载有浏览器的客户终端与至少一个服务器端，其中服务器端包括有用户管理模块、数据存储模块、数据标准与标签标准体系模块、规则存储模块、规则配置模块以及数据处理模块；

其中，用户管理模块用于对用户进行身份验证，分配用户角色，用户角色包括数据清洗用户、规则配置用户、普通查看用户；

其中，数据存储模块用于存储原始的数据文件，其采用关系型数据库来存储数据；

其中，数据标准与标签标准体系模块用于保存标准的数据定义、数据格式等信息，通过标签体系来构建标准数据形式，且建立不同数据格式之间的转换关系；

其中，规则存储模块用于存储经过用户设置的数据清洗规则；

其中，规则配置模块用于设置数据清洗规则；

其中，数据处理模块包括结构化数据清洗单元、非结构数据清洗单元，分别用于实现结构化数据的清洗以及非结构化数据的清洗；数据处理模块对外提供统一的平台接口，对于多样化、异构数据以及多种处理规则，采用一站式平台实现数据清洗。

2.根据权利要求1所述的基于B/S架构的分布式数据治理平台，其特征在于：该平台的数据处理模块可以通过分布式以及多线程的形式进行数据处理，将数据处理工作任务按照分布式系统的节点进行任务划分，且每个服务器端可以通过开启多线程的形式来处理多个数据清洗任务。

3.根据权利要求1所述的基于B/S架构的分布式数据治理平台，其特征在于：分布式处理过程中，通过自组织的形式建立分布式网络的集群，集群内部通过主节点将数据清洗任务进行划分与分配，并将数据清洗任务分配到各从节点上，从节点视其所需运行的数据清洗任务选择开启多线程进行执行。

4.根据权利要求1所述的基于B/S架构的分布式数据治理平台，其特征在于：该平台的数据标准与数据标签体系模块基于文本的形式来保存国际通用型数据标准，并将该标准通过该文本的形式嵌入在本平台中。

5.根据权利要求4所述的基于B/S架构的分布式数据治理平台，其特征在于：其中的数据标准包含结构规范及内容规范，结构规范用于规范数据的结构名称和类型，内容规范是用于规范数据实际值的规则，该规则依据数据实际的国际标准制定；在清洗规则中嵌入这两类规范，其中结构规范以结构制定统一的名称和类型，内容规范则基于对国际各类数据的分析研究形成的具备各国各地区数据规范及特点的标准。

6.根据权利要求1所述的基于B/S架构的分布式数据治理平台，其特征在于：该平台中用户可以通过客户终端来浏览服务器端所存储的数据，并可建立数据视图，用户可以对数据存储模块所保存的数据库表进行浏览，并选定所要清洗的数据以及对应的处理规则，通过数据处理模块按照用户所选定的数据类型以及规则类型进行数据清洗任务。

7.一种基于如权利要求1-6任一项所述的B/S架构的分布式数据治理平台的数据清洗方法，包括如下步骤：

步骤1，用户在客户终端进行登录，服务器端对用户身份进行认证，同时获取用户角色信息，并对该用户的角色信息进行验证，随后为相应的角色开启对应的功能；

步骤2，用户通过客户终端执行包括查看功能、配置功能、导入功能以及数据清洗功能其中至少之一；

步骤3，服务器端响应于用户的功能请求，通过服务器端的各个功能模块来对应地执行功能；

步骤4，服务器端执行完对应的功能后，将结果返回给客户终端。

8.根据权利要求7所述的数据清洗方法，其特征在于：当步骤2中用户在客户终端选择执行查看功能时，该方法还包括：步骤21，当用户选择查看原始数据、选择查看清洗后数据时，服务器端通过数据存储模块来筛选出对应的数据进行展示；当用户选择查看清洗规则、选择查看数据标准与标签标准时，服务器端通过规则存储模块以及数据标准与标签标准体系模块获取对应的信息进行展示。

9.根据权利要求7所述的数据清洗方法，其特征在于：当步骤2中用户在客户终端选择执行配置功能时，该方法还包括：步骤22，用户在客户端终端进行数据清洗规则的配置，通过平台所内嵌的数据标准以及标签标准，创建用户所需的对数据进行清洗的规则，规则配置模块将用户所配置的规则以计算机所能够识别的形式保存在规则存储模块中。