[发明专利]分布式数据计算方法、装置、终端设备及存储介质

权利要求书

1.一种分布式数据计算方法，其特征在于，所述分布式数据计算方法包括：

获取分布式数据计算任务中待计算数据的数据量大小；

检测所述数据量大小是否小于所述分布式数据计算任务的终端设备的预设内存阈值；

在检测到小于所述预设内存阈值时，调用预设多线程执行接口计算所述待计算数据，其中，所述预设多线程执行接口为拓展原分布式执行接口得到的可实现多线程计算的接口。

2.如权利要求1所述的分布式数据计算方法，其特征在于，所述调用预设多线程运行接口计算所述待计算数据的步骤，包括：

根据线程池中线程的数量分割所述待计算数据，并记录分割后的待计算数据的各数组下标；

将各所述数组下标发送至各所述线程，以供各所述线程独立计算各所述待计算数据；

获取各所述线程独立计算得到的各计算结果，并将各所述计算结果进行合并。

3.如权利要求1所述的分布式数据计算方法，其特征在于，在所述调用预设多线程运行接口计算所述待计算数据的步骤之前，还包括：

获取所述终端设备的CPU核数，根据所述CPU核数确定对所述待计算数据进行计算的线程池。

4.如权利要求1所述的分布式数据计算方法，其特征在于，在所述检测所述数据量大小是否小于所述分布式数据计算任务的终端设备的预设内存阈值的步骤之前，还包括：

获取所述待计算数据的文件路径，根据所述文件路径提取所述待计算数据并将所述待计算数据保存至所述终端设备的存储器中。

5.如权利要求4所述的分布式数据计算方法，其特征在于，所述根据所述文件路径提取所述待计算数据并将所述待计算数据保存至所述终端设备的存储器中的步骤，包括：

将所述文件路径发送至线程池中的各线程，以供各所述线程按照所述文件路径提取所述待计算数据至所述终端设备的存储器；

将提取出的所述待计算数据合并为数组存储于所述存储器中，直到所述分布式数据计算任务被执行完成。

6.如权利要求1所述的分布式数据计算方法，其特征在于，在所述检测所述数据量大小是否小于所述分布式数据计算任务的终端设备的预设内存阈值的步骤之前，还包括：

根据执行当前所述分布式数据计算任务的终端设备的设备参数确定所述预设内存阈值。

7.如权利要求1所述的分布式数据计算方法，其特征在于，在所述检测所述数据量大小是否小于所述分布式数据计算任务的终端设备的预设内存阈值的步骤之后，还包括：

在检测到所述数据量大小大于或者等于所述预设内存阈值时，调用分布式执行接口计算所述待计算数据。

8.一种分布式数据计算装置，其特征在于，所述分布式数据计算装置包括：

获取模块，用于获取分布式数据计算任务中待计算数据的数据量大小；

检测模块，用于检测所述数据量大小是否小于所述分布式数据计算任务的终端设备的预设内存阈值；

计算模块，用于在检测到小于所述预设内存阈值时，调用预设多线程执行接口计算所述待计算数据，其中，所述预设多线程执行接口为拓展原分布式执行接口得到的可实现多线程计算的接口。

9.一种终端设备，其特征在于，所述终端设备包括：存储器、处理器及存储在所述存储器上并可在所述处理器上运行的分布式数据计算程序，所述分布式数据计算程序被所述处理器执行时实现如权利要求1至7中任一项所述的分布式数据计算方法的步骤。

10.一种存储介质，其特征在于，所述存储介质上存储有计算机程序，所述计算机程序被处理器执行时实现如权利要求1至7中任一项所述的分布式数据计算方法的步骤。