[发明专利]一种分布式的大数据规划方法

说明书

技术领域

本发明涉及信息化建设领域，具体地说是一种分布式的大数据规划方法。

背景技术

随着行业应用系统的发展，各种信息系统应用数据快速增长，企业的信息化建设 已逐步进入了大数据时代。当前业界大数据信息化建设前期突出的问题反映在以下几个方 面：

a)数据分散在各个业务系统中,无法对其进行综合利用。

b)数据来源不清楚，无法与其业务系统对应，导致数据来源混乱，版本众多。

c)数据量的大小无法准确计算，影响存储资源规划。

d)数据源的结构、格式、关系的复杂多样性，无法为数据采集提供科学的指导和支 持。

e)数据拥有人不清晰，数据拥有者不能及时按业务要求提供正确的数据，导致数 据无法准确追溯。

f)数据定义的分歧，对相同业务的不同解释与定义。

g)研究方向多样性，对数据的要求较高，数据梳理不清晰，影响分析结果的准确 性。

h)数据管理混乱，导致数据冗余存储，增加不必要的存储采购负担。

发明内容

本发明的技术任务是针对上述现有技术的不足，提供一种分布式的大数据规划方 法。

本发明的技术任务是按以下方式实现的：一种分布式的大数据规划方法，其特点 是包括以下步骤：

一、规划目标

制定总体规划目标和总体需求，从全局角度明确工作任务，并对总体规划进行初步研 究分解，之后将任务下发至各需求提供方、使用总体以及技术总体，进行下一步工作；

二、边界划分

包括业务边界划分、数据边界划

业务边界划分：针对具体的业务应用目标进行需求的统一管理，提供业务边界划分模 板，业务边界划分完成后可以从中抽取相应信息作为生成数据应用需求方案的源材料；

数据边界划分：根据业务边界梳理其需要的数据来源以及梳理已有数据挖掘成果和方 法，提供数据边界模板对数据源进行描述；

三、数据标准规划

包括建立数据标准中心和建立数据迁移中心

建立数据标准中心，以保证各业务功能在数据使用上的一致性，对源数据在数据中心 的存储制定一个标准，将同类的源数据进行归一化处理的方案，为数据抽取到数据中心提 供数据对应标准；

建立数据迁移中心，以确定数据标准表的数据如何初始化以及如何对数据标准表中的 数据进行增量导入；

四、评估分析

依据自身需求，各使用主体对数据规划成果进行评估分析。

进一步的，步骤二中进行业务边界划分时，按照研究背景、研究目标、研究内容、应 用方向进行梳理。可以达到研究方向明确、业务边界合理，同时避免口头多次交流造成资源 浪费；为了保证系统灵活性，用户也可制作模板并导入，适应自身业务。

步骤二中进行数据边界划分时，提供数据边界模板对数据源进行描述，所述数据 边界模板包括单位、数据类型、数据来源、当前数据量及数据产生速率等条目，用户也可自 定义模板进行数据边界划分。

步骤三中建立数据标准中心的方法优选为：

(一)制定数据标准：数据标准的制定依赖于同类表的表结构，具体步骤为：

a)选取同类数据表，获得到每个表的表结构；

b)分析表结构中相同字段，选做数据中心的字段；

c)对于表结构中不同的字段进行分析，找出其共同意义生成新的字段；

d)对于业务支撑没有意义的字段可以暂时抛弃，后期如果需要生成新的字段，可以在 数据中心中进行添加；

（二）配置数据关系：对于数据中心和源数据表之间存在何种关系需要在两者之间做一 个数据字段的映射，以便实现对数据标准中心字段的来源进行追溯；

（三）建立数据主题：数据主题是依据具体业务，将数据分为各种主题类。

建立数据主题时优选包括以下分类方式：

a、按照数据产生方式分类：根据不同产生方式，数据可归为三大类：基础数据、衍生数 据、公共代码类数据，其中，基础数据由系统生成或直接录入，衍生类数据由基础数据通过 转换和计算产生，公共代码类数据是通用的共享代码，是特殊的基础数据；

b、按照数据模型分类：按主题对数据分类，每个信息类包含有一个或多个信息子类，以 所述类为依据，确认相应类别的认责部门。