[发明专利]一种解决企业中数据孤岛的方法

说明书

本发明提供一种解决企业中数据孤岛的方法，属于数据治理领域，本发明对中转的数据会进行规范化和标准化，确保数据质量，打通、收集企业内部各系统中的数据，然后在统一的数据平台框架下实现对数据的挖掘和分析，最后通过可视化的手段进行数据展示，从而解决数据孤岛。

技术领域

本发明涉及数据治理、数据规范和数据中台等领域，尤其涉及一种解决企业中数据孤岛的方法。

背景技术

数据已成为数字经济的重要生产要素，这意味着，整合更多数据、拥有更强的数据分析和处理能力，以数据资产化、数据服务化、数据知识化驱动业务，将是企业获得核心竞争力的关键。

然而，在构建数据驱动型组织的道路上，数据孤岛已成为释放数据价值的关键障碍，主要表现在数据整合与治理、组织运营、数字创新等各个层面。企业内不同部门数据的“各自为政”，大大制约着企业管理和业务的顺畅开展，主要问题如下：

1、数据重复：由于数据流通不畅，企业各部门在收集数据时会产生重复行为，造成了数据的重复、冗余、无效等情况，降低了数据的质量和准确度。

2、错误决策：数据的不准确、不及时，往往导致企业决策错误或决策迟缓，从而影响企业的口碑和在市场中的竞争地位。

3、协作不良：企业内部数据孤岛现象的显著，会在很大程度上使得企业各个部门、团队之间，因难以获取工作需要的数据，而关系紧张、协作不良。

4、效率低下：由于不同部门对数据的理解和定义不同，企业内部的沟通成本上升。同时，各部门对数据的重复管理，造成了时间和金钱的浪费、工作效率的低下。

发明内容

为了解决以上技术问题，本发明提供了一种解决企业中数据孤岛的方法。基于静态数据中心的数据交换架构，既解决数据孤岛问题，又可以控制数据质量。

本发明的技术方案是：

一种解决企业中数据孤岛的方法，

包括如下步骤：

1)异构数据源融合，统一数据规范；

2)ETL数据清洗；

3)开发数据API、可视化大屏；

4)控制数据质量；

5)数据挖掘；

6)数据分析。

进一步的，

所述步骤1)具体包括：

首先配置Python开发环境，配置Scrapy采集框架，采集业务数据，将多个数据源用sqoop工具保存到HDFS统一处理，通过制定企业内部相对统一的数据规范和口径，以保证数据高质量落地，实现业务指标标准化，以便数据进一步整合、使用。

所述步骤2)具体包括：

使用Hive进行数据清洗，结构化采集到的数据，剔除掉无效字符，标准化字段值，根据各项业务生成各自的宽表。

所述步骤3)具体包括：

上述步骤清洗后的基础数据，通过开发数据API将数据利用起来，以便按需调用、下载；通过SaaS系统展示数据核心指标，统计各个维度数据，方便进行数据挖掘、数据分析和企业决策。

所述步骤4)具体包括：

通过可视化大屏来解决包含主数据及业务场景数据的质量问题，直观的展示数据标签的缺失率、脏数据情况等来反映数据质量问题，以便及时发现。

所述步骤5)具体包括：