[发明专利]一种分布式的大数据规划方法在审
申请号: | 201510970695.0 | 申请日: | 2015-12-22 |
公开(公告)号: | CN105589958A | 公开(公告)日: | 2016-05-18 |
发明(设计)人: | 于晓晨;邵兵;杨通 | 申请(专利权)人: | 浪潮软件股份有限公司 |
主分类号: | G06F17/30 | 分类号: | G06F17/30 |
代理公司: | 济南信达专利事务所有限公司 37100 | 代理人: | 罗文曌 |
地址: | 250101 山东*** | 国省代码: | 山东;37 |
权利要求书: | 查看更多 | 说明书: | 查看更多 |
摘要: | |||
搜索关键词: | 一种 分布式 数据 规划 方法 | ||
1.一种分布式的大数据规划方法,其特征在于包括以下步骤:
一、规划目标
制定总体规划目标和总体需求,从全局角度明确工作任务,并对总体规划进行初步研 究分解,之后将任务下发至各需求提供方、使用总体以及技术总体,进行下一步工作;
二、边界划分
包括业务边界划分、数据边界划
业务边界划分:针对具体的业务应用目标进行需求的统一管理,提供业务边界划分模 板,业务边界划分完成后可以从中抽取相应信息作为生成数据应用需求方案的源材料;
数据边界划分:根据业务边界梳理其需要的数据来源以及梳理已有数据挖掘成果和方 法,提供数据边界模板对数据源进行描述;
三、数据标准规划
包括建立数据标准中心和建立数据迁移中心
建立数据标准中心,以保证各业务功能在数据使用上的一致性,对源数据在数据中心 的存储制定一个标准,将同类的源数据进行归一化处理的方案,为数据抽取到数据中心提 供数据对应标准;
建立数据迁移中心,以确定数据标准表的数据如何初始化以及如何对数据标准表中的 数据进行增量导入;
四、评估分析
依据自身需求,各使用主体对数据规划成果进行评估分析。
2.根据权利要求1所述的分布式的大数据规划方法,其特征在于:步骤二中进行业务边 界划分时,按照研究背景、研究目标、研究内容、应用方向进行梳理。
3.根据权利要求1所述的分布式的大数据规划方法,其特征在于:步骤二中进行数据边 界划分时,提供数据边界模板对数据源进行描述,所述数据边界模板包括单位、数据类型、 数据来源、当前数据量及数据产生速率。
4.根据权利要求1所述的分布式的大数据规划方法,其特征在于:步骤三中建立数据标 准中心的方法为:
(一)制定数据标准:数据标准的制定依赖于同类表的表结构,具体步骤为:
选取同类数据表,获得到每个表的表结构;
分析表结构中相同字段,选做数据中心的字段;
对于表结构中不同的字段进行分析,找出其共同意义生成新的字段;
对于业务支撑没有意义的字段可以暂时抛弃,后期如果需要生成新的字段,可以在数 据中心中进行添加;
(二)配置数据关系:对于数据中心和源数据表之间存在何种关系需要在两者之间做一 个数据字段的映射,以便实现对数据标准中心字段的来源进行追溯;
(三)建立数据主题:数据主题是依据具体业务,将数据分为各种主题类。
5.根据权利要求4所述的分布式的大数据规划方法,其特征在于:建立数据主题时包括 以下分类方式:
a、按照数据产生方式分类:根据不同产生方式,数据可归为三大类:基础数据、衍生数 据、公共代码类数据,其中,基础数据由系统生成或直接录入,衍生类数据由基础数据通过 转换和计算产生,公共代码类数据是通用的共享代码,是特殊的基础数据;
b、按照数据模型分类:按主题对数据分类,每个信息类包含有一个或多个信息子类,以 所述类为依据,确认相应类别的认责部门。
6.根据权利要求1所述的分布式的大数据规划方法,其特征在于:步骤四中以数据地图 等方式对数据量、数据迁移的状态、迁移趋势进行展示,并通过数据图谱描绘各数据源关联 关系。
该专利技术资料仅供研究查看技术是否侵权等信息,商用须获得专利权人授权。该专利全部权利属于浪潮软件股份有限公司,未经浪潮软件股份有限公司许可,擅自商用是侵权行为。如果您想购买此专利、获得商业授权和技术合作,请联系【客服】
本文链接:http://www.vipzhuanli.com/pat/books/201510970695.0/1.html,转载请声明来源钻瓜专利网。
- 数据显示系统、数据中继设备、数据中继方法、数据系统、接收设备和数据读取方法
- 数据记录方法、数据记录装置、数据记录媒体、数据重播方法和数据重播装置
- 数据发送方法、数据发送系统、数据发送装置以及数据结构
- 数据显示系统、数据中继设备、数据中继方法及数据系统
- 数据嵌入装置、数据嵌入方法、数据提取装置及数据提取方法
- 数据管理装置、数据编辑装置、数据阅览装置、数据管理方法、数据编辑方法以及数据阅览方法
- 数据发送和数据接收设备、数据发送和数据接收方法
- 数据发送装置、数据接收装置、数据收发系统、数据发送方法、数据接收方法和数据收发方法
- 数据发送方法、数据再现方法、数据发送装置及数据再现装置
- 数据发送方法、数据再现方法、数据发送装置及数据再现装置