[发明专利]数据处理方法、装置、系统、电子设备及存储介质

说明书

本公开关于一种数据处理方法、装置、系统、计算机设备和存储介质，所述方法包括：在监听到代理进程对业务进程对应的数据集合文件进行更新的情况下，对更新后的目标数据集合文件进行内存映射，得到所述目标数据集合文件的虚拟内存地址；释放所述业务进程的物理内存中原始数据集合文件中的数据；根据所述目标数据集合文件的虚拟内存地址，将所述目标数据集合文件中的数据写入所述物理内存中。本公开实施例可以降低内存消耗。

技术领域

本公开涉及数据处理技术领域，特别是涉及一种数据处理方法、装置、系统、电子设备和存储介质。

背景技术

进程中涉及数据轮转的时候，进程通常会把更新后的目标数据集合文件中的新数据加载到进程的物理内存后，再把更新前的原始数据集合文件中的旧数据从进程的物理内存中释放掉。这样一来，新数据和旧数据会存在共存瞬间，在共存瞬间二者都消耗物理内存，浪费内存空间，并可能会导致物理内存出现内存消耗尖峰。

在某些小内存的容器环境下，可能会出现因为内存消耗尖峰，进程被OOM killer(Out Of Memory killer)关闭的情况，会大大降低进程对应的服务的可用性和稳定性。

发明内容

本公开提供一种数据处理方法、装置、系统、电子设备和存储介质，以至少解决相关技术中数据轮转过程中进程存在内存消耗尖峰的问题。本公开的技术方案如下：

根据本公开实施例的第一方面，提供一种数据处理方法，应用于业务进程，包括：

在监听到代理进程对业务进程对应的数据集合文件进行更新的情况下，对更新后的目标数据集合文件进行内存映射，得到所述目标数据集合文件的虚拟内存地址；

释放所述业务进程的物理内存中原始数据集合文件中的数据；

根据所述目标数据集合文件的虚拟内存地址，将所述目标数据集合文件中的数据写入所述物理内存中。

在一种可能的实现方式中，所述在监听到代理进程对业务进程对应的数据集合文件更新的情况下，对更新后的目标数据集合文件进行内存映射，得到所述目标数据集合文件的虚拟内存地址，包括：

对链接文件进行监听，所述链接文件用于记录业务进程对应的数据集合文件在磁盘上的磁盘位置；

在监听到所述链接文件更新的情况下，确定所述业务进程对应的数据集合文件更新，从所述链接文件中获取更新后的目标数据集合文件在磁盘上的第一磁盘位置；

根据所述第一磁盘位置对所述目标数据集合文件进行内存映射，得到所述目标数据集合文件的虚拟内存地址。

在一种可能的实现方式中，所述根据所述目标数据集合文件的虚拟内存地址，将所述目标数据集合文件中的数据写入所述物理内存中，包括：

根据所述目标数据集合文件的虚拟内存地址，对所述目标数据集合文件中的数据进行访问；

在所述目标数据集合文件中待访问的数据未写入所述物理内存中的情况下，采用缺页中断机制将所述待访问的数据写入所述物理内存中。

在一种可能的实现方式中，所述在监听到代理进程对业务进程对应的数据集合文件更新的情况下，对更新后的目标数据集合文件进行内存映射，得到所述目标数据集合文件的虚拟内存地址之前，还包括：

从链接文件中获取原始数据集合文件在磁盘中的第二磁盘位置；

根据所述第二磁盘位置对所述原始数据集合文件进行内存映射，得到所述原始数据集合文件的虚拟内存地址；

根据所述原始数据集合文件的虚拟内存地址对所述原始数据集合文件中的数据进行访问；

在所述原始数据集合文件中待访问的数据未写入所述物理内存的情况下，采用缺页中断机制将所述原始数据集合文件中待访问的数据写入所述物理内存中。