[发明专利]一种数据中台系统、构建方法及装置

说明书

本发明公开了一种数据中台系统、构建方法及装置，涉及数据处理技术领域，对企业内部所有目标数据进行采集，将采集到的目标数据进行分类处理，将不同的数据类型划分到对应的特征区存储，根据数据特征区进行数据仓库的构建，根据特征区不同的数据类型，划分主题，获取场景主题库，分析处理主题库数据，获取该主题的业务模型，对仓库内数据提供清洗转换和冗余数据过滤，实时对业务模型进行调整优化，建立业务需求，根据业务需求和仓库内数据相结合形成独立数据集，与业务模型相结合，获取该业务的数据资产地图，本发明能建立统一的企业级数据标准指标体系，解决数据来源多元化和标准不统一的问题，消除不同业务板块核心业务链条之间的数据孤岛。

技术领域

本发明涉及数据处理技术领域，具体地说，涉及一种数据中台系统、构建方法及装置。

背景技术

在大数据时代，用户进行数据检索时，用户要从储存的大量数据中高效找到相关度最大的数据结果是比较麻烦的，数据检索方式是逐条进行匹配的，数据检索的过程中耗时长，有时候检索结果会等很久才会出现第一条检索结果信息，用户很难在检索的进程中尽快同步的查看检索结果，需要浪费较长的等待时间，同时对于经常被检索的数据没有统计信息；

数据中台是一个思维，一个概念，即将业务数据化，数据业务化，真正实现数据和业务进行打通，数据中台连接数据前台和后台，突破数据局限，为企业提供更灵活、高效、低成本的数据分析挖掘服务，避免企业为满足具体某部门某种数据分析需求而投放大量高成本、重复性的数据开发成本；

然而现有技术中，没有建立统一的企业级数据标准指标体系，造成了数据来源多元化和标准不统一，没有采用合适点的技术体系来构建，而且还有没有同时构建业务中台和数据中台的情况，造成不同业务板块核心业务链条之间的数据孤岛，无法对外提供统一一致的数据服务。

发明内容

本发明的主要目的是提出一种数据中台系统、构建方法及装置，旨在针对现有技术中，数据来源多元化和标准不统一，不同业务板块核心业务链条之间的数据孤岛，无法对外提供统一一致的数据服务的问题，建立统一的企业级数据标准指标体系，解决数据来源多元化和标准不统一的问题，同步数据中台和业务中台的建设，整合业务中台数据，消除不同业务板块核心业务链条之间的数据孤岛。

为实现上述目的，本发明提出一种数据中台系统，所述数据中台系统包括:

采集模块，分类模块，迁移模块，存储模块，构建模块，管理模块以及应用模块；

所述采集模块将企业内部所有目标数据进行采集，并将采集到的目标数据发送给分类模块；

所述分类模块接收采集模块发送的目标数据，对目标数据进行分词处理，对分词后的数据进行提取关键词特征信息处理，根据提取的关键词特征信息划分特征区，并将目标数据和划分好的特征区数据发送给迁移模块；

所述迁移模块接收分类模块发送的目标数据及特征区数据，根据目标数据中的关键词特征信息命名特征区，将不同的数据类型划分到对应的特征区，并发送给存储模块；

所述存储模块接收迁移模块发送的数据，进行存储，并进行异常数据剔除，预设触发信号，接收数据后，触发信号，发送信号给构建模块；

所述构建模块接收存储模块发送的触发信号及储存的数据，进行数据仓库的构建，根据特征区不同的数据类型，划分主题，获取场景主题库，分析处理主题库数据，获取该主题的业务模型；

所述管理模块对构建的数据仓库及主题业务模型进行监督管理，对仓库内数据提供清洗转换和冗余数据过滤，实时对业务模型进行调整优化，并发送该数据给应用模块；

所述应用模块接收管理模块发送的数据，建立业务需求，根据业务需求和仓库内数据相结合形成独立数据集，与业务模型相结合，获取该业务的数据资产地图，整合全企业的所有数据，然后进行统一的数据打通、统一建模、对外提供统一数据服务，建立统一的企业级数据标准指标体系，解决数据来源多元化和标准不统一的问题。