[发明专利]分布式数据计算方法、装置、终端设备及存储介质

说明书

本发明公开了一种分布式数据计算方法、装置、终端设备及可计算机读存储介质，基于获取分布式数据计算任务中待计算数据的数据量大小；检测所述数据量大小是否小于所述分布式数据计算任务的终端设备的预设内存阈值；在检测到小于所述预设内存阈值时，调用预设多线程执行接口计算所述待计算数据，其中，所述预设多线程执行接口为拓展原分布式执行接口得到的可实现多线程计算的接口。本发明通过兼容多线程方式对分布式数据计算任务进行数据计算处理，使得执行数据计算处理的终端设备得以充分利用其CPU资源，提升了大数据计算的整体性能。

技术领域

本发明涉及Fintech(金融科技)技术领域，尤其涉及一种分布式数据计算方法、装置、终端设备及计算机可读存储介质。

背景技术

在大数据计算过程中，一般会选择调用分布式计算模式对数据计算任务所携带的待计算数据进行计算。然而，在传统的使用分布式计算模式进行数据计算时，终端设备仅能够基于单线程进行数据计算的整个流程，如此，终端设备的CPU(Central ProcessingUnit/Processor：中央处理器)资源无法得到充分有效的利用，致使大数据计算的整体性能较低。

发明内容

本发明的主要目的在于提供一种分布式数据计算方法、装置、终端设备及计算机可读存储介质，旨在解决现有的分布式数据计算任务基于单线程进行数据计算时无法充分CPU资源，致使大数据计算的整体性能较低的技术问题。

为实现上述目的，本发明提供一种分布式数据计算方法，所述分布式数据计算方法包括：

获取分布式数据计算任务中待计算数据的数据量大小；

检测所述数据量大小是否小于所述分布式数据计算任务的终端设备的预设内存阈值；

在检测到小于所述预设内存阈值时，调用预设多线程执行接口计算所述待计算数据，其中，所述预设多线程执行接口为拓展原分布式执行接口得到的可实现多线程计算的接口。

进一步地，所述调用预设多线程运行接口计算所述待计算数据的步骤，包括：

根据线程池中线程的数量分割所述待计算数据，并记录分割后的待计算数据的各数组下标；

将各所述数组下标发送至各所述线程，以供各所述线程独立计算各所述待计算数据；

获取各所述线程独立计算得到的各计算结果，并将各所述计算结果进行合并。

进一步地，在所述调用预设多线程运行接口计算所述待计算数据的步骤之前，还包括：

获取所述终端设备的CPU核数，根据所述CPU核数确定对所述待计算数据进行计算的线程池。

进一步地，在所述检测所述数据量大小是否小于所述分布式数据计算任务的终端设备的预设内存阈值的步骤之前，还包括：

获取所述待计算数据的文件路径，根据所述文件路径提取所述待计算数据并将所述待计算数据保存至所述终端设备的存储器中。

进一步地，所述根据所述文件路径提取所述待计算数据并将所述待计算数据保存至所述终端设备的存储器中的步骤，包括：

将所述文件路径发送至所述线程池中的各所述线程，以供各所述线程按照所述文件路径提取所述待计算数据至所述终端设备的存储器；

将提取出的所述待计算数据合并为数组存储于所述存储器中，直到所述分布式数据计算任务被执行完成。

进一步地，在所述检测所述数据量大小是否小于所述分布式数据计算任务的终端设备的预设内存阈值的步骤之前，还包括：

根据执行当前所述分布式数据计算任务的终端设备的设备参数确定所述预设内存阈值。