[发明专利]用于处理数据的方法、装置、设备和可读存储介质

说明书

本公开提供了用于处理数据的方法、装置、设备和可读存储介质，涉及数据处理技术领域，尤其涉及大数据和智能搜索领域。具体实现方案为：在第一服务器处获取由数据源产生的新版本数据的分配信息，分配信息包括新版本数据被划分成的多个数据分片的多个存储地址和与针对新版本数据的多个有序操作相对应的操作信息；使用多个数据分片中的数据分片的存储地址配置操作信息以生成针对数据分片的经配置的操作信息；确定与多个有序操作中要完成的目标操作相对应的目标状态信息；以及向第二服务器发送针对数据分片的经配置的操作信息和目标状态信息以用于处理数据分片。通过该方法，可以实现数据配送阶段的最终状态一致性，降低数据配送系统的复杂度。

技术领域

本公开涉及数据处理技术领域，尤其涉及大数据和智能搜索等领域的用于处理数据的方法、装置、设备和可读存储介质。

背景技术

随着计算机互联网的发展，逐渐开始使用由大规模计算机程序组成的复杂的系统。随着这种复杂的系统的发展，与该系统相关的子系统以及要处理的数据越来越多。然而，由于计算设备能力受限，现在人们通常将各组成子系统中程序的计算和用于该程序的数据进行分开存储。在存储分离的技术方案中，在云服务器中运行的云端程序服务通常包括程序文件和数据文件组成。在程序服务规模增长中，数据文件中包含的数据信息也相应地逐渐增大。然而，在为程序服务提供数据文件的过程中存在许多需要解决的技术问题

发明内容

本公开提供了一种用于处理数据的方法、装置、设备以及存储介质。

根据本公开的第一方面，提供了一种用于处理数据的方法。该方法包括：在第一服务器处获取由数据源产生的新版本数据的分配信息，分配信息包括新版本数据被划分成的多个数据分片的多个存储地址和与针对新版本数据的多个有序操作相对应的操作信息；使用多个数据分片中的数据分片的存储地址配置操作信息以生成针对数据分片的经配置的操作信息；确定与多个有序操作中要完成的目标操作相对应的目标状态信息；以及向第二服务器发送针对数据分片的经配置的操作信息和目标状态信息以用于处理数据分片。

根据本公开的第二方面，提供了一种用于处理数据的方法。该方法包括：在第二服务器处从第一服务器接收针对数据分片的经配置的操作信息和目标状态信息，数据分片来自对由数据源产生的新版本数据进行划分而生成的多个数据分片，经配置的操作信息与针对数据分片的多个有序操作有关，目标状态与多个有序操作中要完成的目标操作相对应；响应于从第一计算设备接收到针对数据分片的第一心跳信息，向第一计算设备发送操作信息和目标状态信息，第一心跳信息包括针对数据分片的当前状态；以及利用数据分片的当前状态来更新第一计算设备的当前状态信息。

根据本公开的第三方面，提供了一种用于处理数据的方法。该方法包括：在第一计算设备处获取要处理的数据分片的标识，数据分片来自对由数据源产生的新版本数据进行划分而生成的多个数据分片；向第二服务器发送针对数据分片的心跳消息以用于接收针对数据分片的操作信息和目标状态信息，操作信息与针对数据分片的多个有序操作有关，目标状态与多个有序操作中要完成的目标操作相对应；将数据分片的当前状态与目标状态进行比较；以及如果确定当前状态不同于目标状态，继续执行多个有序操作以完成目标操作。

根据本公开的第四方面，提供了一种用于处理数据的装置。该装置包括：分配信息获取模块，被配置为在第一服务器处获取由数据源产生的新版本数据的分配信息，分配信息包括新版本数据被划分成的多个数据分片的多个存储地址和与针对新版本数据的多个有序操作相对应的操作信息；操作信息配置模块，被配置为使用多个数据分片中的数据分片的存储地址配置操作信息以生成针对数据分片的经配置的操作信息；目标状态信息确定模块，被配置为确定与多个有序操作中要完成的目标操作相对应的目标状态信息；以及发送模块，被配置为向第二服务器发送针对数据分片的经配置的操作信息和目标状态信息以用于处理数据分片。