[发明专利]数据导出方法及相关产品

说明书

本申请涉及数据传输优化技术领域，具体公开了一种数据导出方法及相关产品，该方法包括：第一设备接收用户终端发送的数据导出请求，所述数据导出请求包括待导出数据的数据标识和所述待导出数据的内存；如所述待导出数据的内存大于第一阈值，所述第一设备将所述数据导出请求拆分为N个子数据导出请求，并为每个子数据导出请求添加第二设备集群中的第二设备的设备标识，且任意两个子数据导出请求之间的设备标识不同；所述第一设备向所述第二设备集群广播所述N个子数据导出请求。采用本申请实施例有利于提高数据导出效率。

技术领域

本申请涉及数据传输技术领域，具体涉及一种数据导出方法及相关产品。

背景技术

随着信息化的成熟，数据采集工作日益完善，数据的种类越来越多，从而可以在数据库中存储有一个用户对应的大量数据，商家可以从该数据库中拿取用户的数据，通过大数据技术为用户做商品推荐。由于每个用户的数据量较多，导出过程极为困难，目前存在以下两种导出方式：1、对大数据进行拆分，分批次导出，这种导出方法会消耗过多的业务时间，而且需要用户反复执行相同的导出操作，降低了用户的体验，影响后续业务应用的开展。2、“一次导出，持续等待”，即向数据库服务器发起一个数据导出请求，该请求用户从该数据库中导出到指定存储路径，该数据库服务器在接收到请求后，按照其所能承受的数据传输速率，将数据导出到该指定存储路径，由于数据量过大，将占用内存资源过大，等待时间过长，没有充分利用分布式服务的性能。

因此，目前的大数据导出技术单一，导出时间过长，且导出过程复杂，当在单服务器上导出大数据量的时，可能会导致服务器内存溢出，服务器存在宕机的风险，用户体验低。

发明内容

本申请实施例提供了一种数据导出方法，通过多个第二设备异步导出数据，提高数据导出效率，进而降低第二设备的宕机风险。

第一方面，本申请实施例提供一种数据导出方法，包括：

第一设备接收用户终端发送的数据导出请求，所述数据导出请求包括待导出数据的数据标识和所述待导出数据的内存；

如所述待导出数据的内存大于第一阈值，所述第一设备将所述数据导出请求拆分为N个子数据导出请求，并为每个子数据导出请求添加第二设备集群中的第二设备的设备标识，且任意两个子数据导出请求之间的设备标识不同；

所述第一设备向所述第二设备集群广播所述N个子数据导出请求，以便目标第二设备向所述用户终端导出与目标子数据导出请求对应的子待导出数据，所述目标子数据导出请求为所述N个子数据导出请求中的任意一个子数据导出请求，所述目标第二设备为所述第二设备集群中与所述目标子数据请求的设备标识对应的第二设备；以及以便所述用户终端根据接收到的子待导出数据，合成所述待导出数据。

第二方面，本申请实施例提供一种数据导出装置，包括：

接收单元，用于接收用户终端发送的数据导出请求，所述数据导出请求包括待导出数据的数据标识和所述待导出数据的内存；

拆分单元，用于如所述待导出数据的内存大于第一阈值，将所述数据导出请求拆分为N个子数据导出请求，并为每个子数据导出请求添加第二设备集群中的第二设备的设备标识，且任意两个子数据导出请求之间的设备标识不同；

广播单元，用于向第二设备集群广播所述N个子数据导出请求，以便目标第二设备向所述用户终端导出与目标子数据导出请求对应的子待导出数据，所述目标子数据导出请求为所述N个子数据导出请求中的任意一个子数据导出请求，所述目标第二设备为所述第二设备集群中与所述目标子数据请求的设备标识对应的第二设备；以及以便所述用户终端根据接收到的子待导出数据，合成所述待导出数据。

第三方面，本申请实施例提供一种电子设备，包括处理器、存储器、通信接口以及一个或多个程序，其中，所述一个或多个程序被存储在所述存储器中，并且被配置由所述处理器执行，所述程序包括用于执行如第一方面所述的方法中的步骤的指令。