[发明专利]黄河水沙变化数据仓库

说明书

本发明涉及一种黄河水沙变化数据仓库，包括由下至上依次连接的数据源、汇聚层、存储层以及应用层，其中，数据源位于最底层，由结构化数据、半结构化数据以及非结构化数据组成，用于实现源数据向汇聚层聚集；汇聚层用于在数据源中抽取所需要的数据，并对数据进行处理后传输至存储层；存储层用于存储汇聚层处理后的数据；应用层为用户访问数据的工具，用于对数据进行数据分析。本申请提供的数据仓库能完整、统一地刻画各个分析对象所涉及的各项数据以及数据之间的联系，应用数据分析是多角度的、多视图模式的、可旋转的。根据分析要求，迅速、灵活地对大量数据进行处理，并以直观的、容易理解的形式将查询结果提供给各种决策人员。

技术领域

本发明属于软件架构技术领域，具体涉及一种黄河水沙变化数据仓库。

背景技术

任何重大问题的决策都需要拥有大量的相关数据作为支撑，然后帮助用户从中快速获取足够的决策信息，而对于流域水资源管理中涉及的多种数据，需要对各类数据以及各类数据之间的相互关系进行分析后才能做出科学有效的决策。

相关技术中，随着通信技术的发展，流水域资源对于数据获取的快速性、准确性等有了更高的要求。但是还没有更好的方式对数据进行存储和管理。

发明内容

有鉴于此，本发明的目的在于克服现有技术的不足，提供一种黄河水沙变化数据仓库，以解决现有技术中没有更好的方式对数据进行存储和管理的问题。

为实现以上目的，本发明采用如下技术方案：一种黄河水沙变化数据仓库，包括：由下至上依次连接的数据源、汇聚层、存储层以及应用层，其中，

所述数据源位于最底层，由结构化数据、半结构化数据以及非结构化数据组成，用于实现源数据向所述汇聚层聚集；

所述汇聚层用于在所述数据源中抽取所需要的数据，并对数据进行处理后传输至存储层；

所述存储层用于存储汇聚层处理后的数据；

所述应用层为用户访问数据的工具，用于对数据进行数据分析。

进一步的，所述数据源还用于对数据进行数据管理，按照不同数据层次排序显示数据源信息，包括数据名称、数据描述、数据层次、资源地址、数据类型、数据所在单位、是否接入数据以及最新同步日期；所述数据管理包括同步和更新；

所述汇聚层采用数据批量抽取或准实时数据抽取的方式对数据源中所需的数据进行抽取。

进一步的，所述对数据进行处理，包括：

对数据进行抽取、转换、清洗、加载、流数据处理。

进一步的，通过事实表、维、度量和层构建多维数据模型；其中，数据仓库设有主题，所述数据围绕主题进行为数据执行，所述数据以事实表为中心，关联多个维表，其中事实表包含多个维和度量，维代表决策用户分析数据的特定视角，度量是数据的实际意义和测量指标，各个维表描述了多个维及其取值，每一个维又划分了不同的层次；

所述多维数据模型用于定义ETL过程和映射，以对数据进行抽取、转换、清洗、加载、流数据处理。

进一步的，所述ETL过程包括：

创建维度、创建数据立方体、创建映射、创建ETL流程。

进一步的，所述在所述数据源中抽取所需要的数据，包括：

建立插入、修改、删除三个触发器；当源表中的数据发生变化时，相应的触发器将变化的数据写入一个临时表，抽取线程从临时表中抽取数据，临时表中抽取过的数据被标记或删除；

在源表上增加一个时间戳字段，系统中更新修改表数据的时候，同时修改时间戳字段的值，当进行数据抽取时，通过比较系统时间与时间戳字段的值来决定抽取的数据；