[发明专利]数据处理方法、装置、电子设备及存储介质

说明书

本发明实施例提供一种数据处理方法，方法包括：通过创建好的主进程对预设的算法模型进行预加载，得到预加载算法模型，并将所述预加载算法模型保存在主进程内存中；基于所述主进程，创建预设数量的子进程，所述子进程共享所述主进程内存；通过所述子进程在所述主进程内获取所述预加载算法模型进行数据处理。通过创建好的主进程对预设的算法模型进行预加载，根据主创建对应的子进程，利用子进程进行数据处理，而子进程通过访问主进程内存来获取对应的预加载算法模型，因此，子进程不需要再对算法模型进行加载，提高了数据处理速度，同时，子进程不需要额外的内存资源进行算法模型加载，节省了大量的内存资源。

技术领域

本发明涉及计算机领域，尤其涉及一种数据处理方法、装置、电子设备及存储介质。

背景技术

机器学习算法模型在云服务化的过程中，为了提高服务的吞吐率，往往采用多线程方案、协程方案、多进程方案等方案进行实现。然而，多线程方案的缺点在于：在基于python的云服务化中，由于GIL(全局解释器锁)的存在，使得多线程的并行性能不足，不能发挥计算机多核的能力。同样的，协程方案的缺点在于：在基于python的云服务化中，对于计算密集型的程序，协程的方案与多线程的方案没有本质的区别，也同样受GIL的影响，反而因为协程间的切换拖慢了计算机性能。多进程方案的缺点在于：多进程方案对于计算密集型程序，能够充分利用计算机的多核能力，在多进程模式下，每个进程对应计算机的一个核，然而由于在每个进程中都要对算法模型进行加载，通过加载算法模型后的进程来进行预测，同时也会浪费大量的内存，拖慢计算机处理的数据处理性能。因此，现有的多进程数据处理存在内存占用率高，导致计算数据处理的性能低的问题。

发明内容

本发明实施例提供一种数据处理方法，旨在解决现有现有的多进程数据处理存在内存占用率高，导致计算数据处理的性能低的问题。通过创建好的主进程对预设的算法模型进行预加载，创建与主进程相同的子进程，利用子进程进行数据处理，而子进程通过访问主进程内存来获取对应的预加载算法模型，因此，子进程不需要再对算法模型进行加载，提高了数据处理速度，同时，子进程不需要额外的内存资源进行算法模型加载，节省了大量的内存资源。

第一方面，本发明实施例提供一种数据处理方法，所述方法包括：

通过创建好的主进程对预设的算法模型进行预加载，得到预加载算法模型，并将所述预加载算法模型保存在主进程内存中；

基于所述主进程，创建预设数量的子进程，所述子进程共享所述主进程内存；

通过所述子进程在所述主进程内获取所述预加载算法模型进行数据处理。

可选的，在所述通过创建好的主进程对预设的算法模型进行预加载，得到预加载算法模型，并将所述预加载算法模型保存在主进程内存中的步骤之后，所述方法还包括：

当所有的所述预加载算法模型在所述主进程内存保存完成时，对所述主进程内存进行冻结。

可选的，所述基于所述主进程，创建预设数量的子进程，包括：

创建预设数量的新进程；

为所述新进程分配硬件资源；

将所述主进程的值复制到所述新进程，并添加所述主进程内存的映射路径，得到所述子进程。

可选的，所述通过所述子进程在所述主进程内获取所述预加载算法模型进行数据处理，包括：

获取待处理任务，所述待处理任务包括待处理数据以及算法需求；

基于所述算法需求，在所述主进程内存中只读对应的所述预加载算法模型；

通过只读的所述预加载算法模型对所述待处理数据进行数据。