[发明专利]提取数据的方法和装置

说明书

本发明提供一种提取数据的方法和装置，能够节省从数据仓库提取数据的人力并且提高数据安全性。本发明的提取数据的方法包括：保存数据提取任务；在监听到保存了新的数据提取任务的情况下，执行该新的数据提取任务以从数据源中提取数据得到数据提取的结果文件；将所述结果文件发送到存储装置中，以供用户从该存储装置获取所述结果文件。

技术领域

本发明涉及一种提取数据的方法和装置。

背景技术

随着互联网的发展，产生的数据越来越多，人们对于数据分析研究也越来越重视，数据仓库在这样的背景下越来越发挥巨大的作用，业务方也拥有更大的动力在数据分析研究方面做出持续的投入。为了满足业务方灵活多样的数据分析需求，数据挖掘工程师经常需要帮助业务方人工从数据仓库中将其需要的相关数据提取出来，然后以文件的形式交给业务方。这个过程就是一个数据提取的过程。

在进行数据提取时，数据挖掘工程师根据业务方的需求，分析业务方需求的数据在数据仓库中的存储位置，然后通过手工执行数据仓库使用的数据库的语句的形式将数据仓库中的数据转换为普通文本文件，再将文本文件从线上数据仓库服务器下载到数据挖掘工程师的个人工作电脑，最后再通过企业内部的沟通工具发送给业务方，完成一次数据提取流程。

数据库语句的执行时间一般比较长，并且下载文本文件、发送文本文件也需较长的时间，而且这三个环节具有连贯性，任何一个环节的失败都需要人工重新操作，所以在执行这三个环节的过程中数据挖掘工程师必须持续保持关注，因此很难并行的去同时完成其他的工作，占用大量的人力。并且，由上述三个环节组成的整个过程中都是线下手工完成，数据在这个过程中经过多次流转，造成数据在多个地方存在多个备份，这些备份数据缺乏足够的记录及监管，存在数据泄露的风险。

因此目前从数据仓库提取数据的方案存在的主要问题是占用大量人力并且数据安全性不够。

发明内容

有鉴于此，本发明提供一种提取数据的方法和装置，能够节省从数据仓库提取数据的人力并且提高数据安全性。

为实现上述目的，根据本发明的一个方面，提供了一种提取数据的方法。

本发明的提取数据的方法包括：保存数据提取任务；在监听到保存了新的数据提取任务的情况下，执行该新的数据提取任务以从数据源中提取数据得到数据提取的结果文件；将所述结果文件发送到存储装置中，以供用户从该存储装置获取所述结果文件。

可选地，保存数据提取任务之前还包括：通过表单接收数据提取语句，然后根据该数据提取语句生成数据提取任务。

可选地，所述数据提取语句为所述数据源所使用的数据库的数据提取语句，所述数据提取任务为该数据库的数据提取任务。

可选地，将所述结果文件发送到存储装置中的步骤包括：将所述结果文件保存到临时存储目录中；将所述临时存储目录中的数据上传到云存储装置中，然后删除所述临时存储目录中的数据。

根据本发明的另一方面，提供了一种提取数据的装置

本发明的提取数据的装置包括：保存模块，用于保存数据提取任务；监听模块，用于监听所述保存模块是否保存了新的数据提取任务；执行模块，用于在所述监听模块监听到保存了新的数据提取任务的情况下，执行该新的数据提取任务以从数据源中提取数据得到数据提取的结果文件；处理模块，用于将所述结果文件发送到存储装置中，以供用户从该存储装置获取所述结果文件。

可选地，还包括接收模块和生成模块，其中：所述接收模块，用于通过表单接收数据提取语句；所述生成模块，用于根据所述数据提取语句生成数据提取任务。

可选地，所述数据提取语句为所述数据源所使用的数据库的数据提取语句，所述数据提取任务为该数据库的数据提取任务。