[发明专利]一种数据导出方法、装置及系统

说明书

本发明公开了一种数据导出方法、装置及系统，其中方法包括：根据导出请求利用检索数据库进行数据查询，所述导出请求中的查询字段根据检索数据库中的索引以及字段信息配置，所述检索数据库中的数据源从关系型数据库中抽取；根据查询结果生成导出文件，将生成所述导出文件的设备地址存储到关系型数据库中，将所述导出文件存储到导出服务器中，以供所述导出服务器向发起所述导出请求的服务器传输所述导出文件。本发明采用ES服务实现大数据量的查询和导出，实现了多样性的数据导出需求，相比web端的数据导出提高了导出效率，更加适用于复杂业务场景的数据导出需求。

技术领域

本发明涉及计算机技术领域，特别涉及一种数据导出方法、装置及系统。

背景技术

数据管理系统通常要依赖具体业务场景的数据进行分析整合和数据导出，然而随着业务场景的多元化和复杂化发展，很多业务场景的数据由于数量庞大采用了分库分表的存储方式，这就导致数据管理系统在导出数据时需要从不同的子系统中导出，使得数据导出链路长、限制多、数据的时效性较差的问题日益突出。

发明内容

为了解决现有技术的问题，建设一个具有承接跨系统、跨业务、跨产品数据导出能力的综合导出平台，本发明实施例提供了一种数据导出方法、装置及系统。所述技术方案如下：

第一方面，提供了一种数据导出方法，包括：

根据导出请求利用检索数据库进行数据查询，所述导出请求中的查询字段根据检索数据库中的索引以及字段信息配置，所述检索数据库中的数据源从关系型数据库中抽取；

根据查询结果生成导出文件，将生成所述导出文件的设备地址存储到关系型数据库中，将所述导出文件存储到导出服务器中，以供所述导出服务器向发起所述导出请求的服务器传输所述导出文件。

进一步地，根据导出请求在检索数据库中进行数据查询包括：

根据所述导出请求生成若干导出任务，根据所述导出任务进行多线程分批次的数据查询。

进一步地，根据所述导出请求生成若干子导出任务包括：

根据所述查询字段中的数据类型信息或者组织架构信息进行生成所述子导出任务。

进一步地，所述检索数据库中的数据源从关系型数据库中抽取包括：

通过hive表从所述关系型数据库中抽取全量数据或增量数据；

利用spark进行数据分析整合，将分析整合后的数据同步至所述检索数据库中。

进一步地，所述检索数据库中的数据源从关系型数据库中抽取包括：

通过binlog日志从所述关系型数据库中抽取全量数据或增量数据。

第二方面，提供了一种数据导出页面配置方法，包括：

从关系型数据库中抽取相应的条件数据，利用所述条件数据配置数据导出页面，以供用户根据所述条件数据提出导出请求，其中所述条件数据根据检索数据库中的索引以及字段信息配置。

第三方面，提供一种数据导出装置，包括：导出模块，用于生成导出文件并将设备地址发送到到关系型数据库中存储；所述导出模块包括：

查询模块，用于根据导出请求利用检索数据库进行数据查询，所述导出请求中的查询字段根据检索数据库中的索引以及字段信息配置，所述检索数据库中的数据源从关系型数据库中抽取；

导出文件生成模块，用于根据查询结果生成导出文件，将所述导出文件存储到导出服务器中，以供所述导出服务器向发起所述导出请求的服务器传输所述导出文件。

进一步地，所述装置还包括：