[发明专利]数据处理方法、装置及分布式系统

说明书

本申请提供一种数据处理方法、装置及分布式系统，涉及数据通信技术领域。该方法通过接收主控单元发送的用于获得待访问数据的访问请求信息，其中，访问请求信息包括与待访问数据的目标索引地址对应的目标访问地址及待访问数据的标识信息；从访问请求信息中提取出目标访问地址、标识信息，并确定出目标访问地址对应的目标索引地址；根据目标索引地址及标识信息，从数据集中确定出待访问数据，并将待访问数据发送至主控单元，能够改善现有技术中需要读取所有数据并将其上传而导致内存消耗大的技术问题，有助于提高分布式系统数据访问的效率。

技术领域

本申请涉及数据通信技术领域，具体而言，涉及一种数据处理方法、装置及分布式系统。

背景技术

分布式系统通常包括着主控单元和线卡单元，当线卡单元处理的数据量较少时，读取数据较为容易。在分布式系统需要访问大量数据时，例如需要访问百万级别的数据表项时，一次性读取却需要较长时间。比如，受限于数据的完整性制约，在现有技术中可采取串行访问的方式，即主控单元的业务模块完成一次完整的访问后，业务模块再发起一次新的数据访问，这样如果存在多个业务模块都需要访问数据的情况下，一个业务模块没有访问完成之前，其他的业务模块不能进行数据访问，使得数据访问的效率低下。或者采用并发访问的方式。比如，线卡单元读取自身存储的所有数据并将数据上传到主控单元，这样主控单元的业务模块才能并发访问，而将大量的数据读取与上传会造成大量的内存消耗。

发明内容

本申请提供一种数据处理方法、装置及分布式系统。

为了实现上述目的，本申请实施例所提供的技术方案如下所示：

第一方面，本申请实施例提供一种数据处理方法，应用于分布式系统中的线卡单元，所述分布式系统还包括与所述线卡单元通信连接的主控单元，所述方法包括：

接收所述主控单元发送的用于获得待访问数据的访问请求信息，其中，所述访问请求信息包括与所述待访问数据的目标索引地址对应的目标访问地址及所述待访问数据的标识信息；

从所述访问请求信息中提取出所述目标访问地址、所述标识信息，并确定出所述目标访问地址对应的所述目标索引地址；

根据所述目标索引地址及所述标识信息，从数据集中确定出所述待访问数据，并将所述待访问数据发送至所述主控单元。通过该方法，基于索引地址能够使得线卡单元快速读取到待访问数据，且无需对数据集中的所有数据进行读取，从而减少了读取的数据的量，有助于降低线卡单元、主控单元的内存消耗，进而有助于提升数据访问的效率。

结合第一方面，在一些可选地的实现方式中，所述线卡单元的数据集中存储有与所述数据集中的单元数据对应的索引地址，根据所述目标索引地址及所述标识信息，从数据集中确定出所述待访问数据，包括：

在数据集中的索引地址中查找是否存在与所述目标访问地址对应的所述目标索引地址；

在为是时，从所述目标索引地址对应的目标存储地址访问所述数据集中的单元数据，并根据所述标识信息从所述单元数据中确定出所述待访问数据；

在为否时，将所述目标访问地址对应的所述目标索引地址与所述数据集中的预设存储地址的目标单元数据关联，并从所述预设存储地址读取所述目标单元数据，并根据所述标识信息将所述目标单元数据确定为所述待访问数据。通过该方法，能够灵活对待访问数据进行确定。

结合第一方面，在一些可选地的实现方式中，确定出所述目标访问地址对应的所述目标索引地址，包括：

基于访问地址与索引地址的映射关系确定出所述目标访问地址对应的所述目标索引地址。通过该方法，有助于快速地通过目标访问地址确定出目标索引地址。

结合第一方面，在一些可选地的实现方式中，确定出所述目标访问地址对应的所述目标索引地址，包括：