[发明专利]一种数据仓库管理系统及管理方法

说明书

本发明涉及数据仓库技术领域，尤其涉及一种数据仓库管理系统，包括数据入库模块、数据存储模块、数据浏览模块、数据查询定位模块以及数据下载模块，所述数据入库模块包括自动扫描入库单元，所述自动扫描入库单元，用于通过自动扫描方式将数据写入数据仓库；自动扫描入库方式包括：按照原始树形文件夹方式扫描入库、无差别数据扫描入库、文件筛选入库、特定位置数据入库。本发明通过软硬件结合进行文件管理，改变了传统的人工管理数据方式，有效提高了数据仓库的管理效率。

技术领域

本发明涉及数据仓库技术领域，尤其涉及一种数据仓库管理系统及管理方法。

背景技术

数据仓库(DataWarehouse，可简写为DW或DWH)是一种结构化数据环境。数据仓库可以为数据分析、数据报表以及数据挖掘等应用提供数据支持。

数据仓库管理是数据仓库运营的一个核心内容，现有的数据仓库的数据上传和维护方法通常为：数据仓库管理员定期/不定期地通过人工的方式上传数据，并分析数据仓库的元数据，而后根据分析结果整理出失效的数据表清单，数据仓库管理员将失效的数据表清单提供给相应的技术负责人，由技术负责人对失效的数据表清单中的各个表分别进行失效确认，并对失效确认后的各个表进行相应的处理，如删除相应的表等。即现有的数据仓库的数据上传和维护方法还停留在人工管理阶段，数据仓库管理工作量大，管理效率低。随着各行业大数据容量及类型不断增加，传统的数据管理系统对此类数据进行存储与管理越来越不能满足应用需求。

因此，亟需提供一种新的数据仓库管理系统及管理方法。

发明内容

针对现有技术的上述问题，本发明的目的在于提供一种数据仓库管理系统及管理方法，从而实现对数据进行自动化入库和管理。

第一方面，本发明提供了一种数据仓库管理系统，包括数据入库模块、数据存储模块、数据浏览模块、数据查询定位模块以及数据下载模块，其中，

所述数据入库模块用于将数据写入数据仓库；该数据包括栅格影像数据、矢量数据以及成果类文档数据。所述数据入库模块对栅格影像数据(遥感卫星影像数据、中间处理数据、通用格式数据GeoTiff等)、矢量数据以及成果类文档等数据进行入库编目操作，便于实现数据的浏览与查询应用。

数据入库编目主要指用户根据业务需要对待入库数据按照一定的方式进行编目，编目的过程即为建树过程。可按照年度、区域、类别等方式进行编目管理数据。

所述数据入库模块包括自动扫描入库单元，所述自动扫描入库单元，用于通过自动扫描方式将数据写入数据仓库；自动扫描入库方式包括：按照原始树形文件夹方式扫描入库、无差别数据扫描入库、文件筛选入库、特定位置数据入库；

所述数据存储模块，用于对入库的数据进行存储；

所述数据浏览模块，用于对数据仓库内的数据进行浏览；

所述数据查询定位模块，用于对数据仓库内的数据进行查询操作，并对数据的存储位置实现定位；

所述数据下载模块，用于基于所述数据查询定位模块的运行结果，根据需要对查询到的列表数据进行选择性下载。

优选地，还包括数据存储介质模块和通讯控制器模块，所述通讯控制器模块用于对所述数据存储介质模块进行调度控制。

优选地，所述数据存储介质模块为硬盘存储立方体，所述硬盘存储立方体由若干个硬盘柜堆叠构成，所述通讯控制器模块用于对每个硬盘柜进行调度控制。

优选地，所述数据入库模块还包括人工入库单元、数据处理单元和数据存储介质监测单元；

所述人工入库单元，用于通过人工录入的方式将数据写入数据仓库；

所述数据处理单元，用于对入库的数据进行入库处理；