[发明专利]导出数据的方法和装置

说明书

本发明公开了一种导出数据的方法和装置，涉及计算机技术领域。该方法的一具体实施方式包括：接收已注册服务的业务系统发来的数据导出请求，根据所述数据导出请求创建导出任务；根据任务管理规则获取导出任务，调用所获取的导出任务对应的业务系统已注册的服务从业务系统服务端分页获取数据；将获取的数据整合成文件进行存储以导出数据。该实施方式实现了用户导出任务的统一管理，减缓了业务系统的内存压力，提升了用户体验，通过异步处理，更加合理有效的利用资源，避免了资源浪费，使用配置化的方式可以做到无侵入，统一控制，拆解模块化使得对象分工明确，便宜扩展，易插拔，可实现组件化。

技术领域

本发明涉及计算机技术领域，尤其涉及一种导出数据的方法和装置。

背景技术

现今互联网行业飞速发展，数据都在云端存储，数据的业务方总是会有一些短期的数据分析，这个时候就会涉及到数据的导出，但是导出往往带着大量的数据，会占用应用服务器的内存，严重情况下会影响应用服务器的正常使用，这时候就需要一个统一导出管理，目前主要使用Spring框架、aop(Aspect Oriented Programming、面向切面编程)、redis(一种数据库)、poi(Point of Information、信息点)、rmi(Remote Method Invocation，远程方法调用)等技术进行导出。

在实现本发明过程中，发明人发现现有技术中至少存在如下问题：现有的导出技术无法动态的增加需要的内存，在高并发情况下会造成内存溢出，并且受外界机器性能影响较大。

发明内容

有鉴于此，本发明实施例提供一种导出数据的方法和装置，提供了完善的架构设计支持和标准的对接接口，实现用户导出任务的统一管理，减缓了业务系统的内存压力，提升了用户体验，通过异步处理，更加合理有效的利用资源，避免了资源浪费，使用配置化的方式可以做到无侵入，统一控制，拆解模块化使得对象分工明确，便宜扩展，易插拔，可实现组件化。

为实现上述目的，根据本发明实施例的一个方面，提供了一种导出数据的方法。

一种导出数据的方法，包括，接收已注册服务的业务系统发来的数据导出请求，根据所述数据导出请求创建导出任务；根据任务管理规则获取导出任务，调用所获取的导出任务对应的业务系统已注册的服务从业务系统服务端分页获取数据；将获取的数据整合成文件进行存储以导出数据。

可选地，根据所述数据导出请求创建导出任务之后，还包括：将创建的导出任务放入任务队列中；并且，根据任务管理规则获取导出任务包括：通过定时任务，每隔一段时间定时获取当前正在执行的任务个数，并将所述任务个数与设置的任务个数上限对比；若所述任务个数小于所述任务个数上限，则从所述任务队列中按顺序获取导出任务，并更新所述任务个数，直至所述任务个数达到所述任务个数上限。

可选地，根据任务管理规则获取导出任务之后，采用异步执行的方式进行所述导出任务的处理，并记录任务执行日志，所述任务执行日志包括任务执行时间、状态和次数。

可选地，调用所获取的导出任务对应的业务系统已注册的服务从业务系统服务端分页获取数据包括：根据设定的分页请求参数生成第一分页请求，所述分页请求参数包括请求获取数据的页码及每页显示的数据量；根据所述第一分页请求调用所获取的导出任务对应的业务系统已注册的服务，通过所述业务系统提供的数据查询接口获取所述第一分页请求对应的数据以及导出数据总量；根据所述导出数据总量和所述每页显示的数据量确定待生成的第二分页请求的个数，并根据所述分页请求参数生成对应个数的第二分页请求；对于每个第二分页请求，根据所述第二分页请求从业务系统服务端获取所述第二分页请求对应的数据。

可选地，将获取的数据整合成文件进行存储包括：将获取的数据整合成文件并转换成字节数据，将所述字节数据上传至云存储系统进行存储。