[发明专利]数据处理方法及系统、客户端及存储引擎

说明书

技术领域

本发明涉及数据处理技术领域，尤其涉及一种数据处理方法及系统、客户端及存储引擎。

背景技术

数据作为一种信息形式，广泛地存在于自然界和人类社会中。计算机技术出现后，凭借其优异的数据处理性能，被广泛地应用在各领域的数据处理业务中。

随着计算机技术的发展和数据处理的需求，用于描述信息的数据量也在不断增加，而且数据涉及的范围越来越广泛，数据之间的关系也变得更为复杂。为了提高数据处理的效率，对数据处理技术也提出了更高的要求。

目前主要使用的数据处理技术，首先是将数据存入数据记录集合，例如数据库，然后对数据库中的数据进行操作。数据存储在数据库中，可以看成是一条一条包含字段的数据记录。数据记录集合一般存储在数据存储引擎（简称存储引擎）上，客户端与存储引擎通信，访问其中的数据记录集合。

传统的关系数据库要求存入的是事先定义好字段格式的固定字段数据记录，如果需要在记录中添加新的字段，就要求更改字段定义，这会导致整个数据记录集合停机而无法使用。

一般情况下，大都是多个客户端一起使用数据记录集合，也就是说，数据记录集合需要支持多个客户端共享这一个数据记录集合，同时又必须满足不同客户端在存储数据记录时有自定义字段的要求，而且这个对新增加字段的数据记录的存取应该是对其他客户端透明的，不发生影响的。

元数据用来定义数据集合的基本情况：名字，索引和允许的数据架构（也称为模式，Schema）。多种Schema的数据均存储在后端存储引擎中，这势必导致大量地读取Schema信息及对该字段名的翻译操作，造成后端存储引擎负荷较重。各个客户端在访问存储引擎的过程中，也需要通过网络传输大量的字段名信息，增加传输网络的负荷。

发明内容

本发明实施例解决的问题是如何减少传输网络及后端存储引擎的负荷。

为解决上述问题，本发明实施例提供一种数据处理方法，所述方法包括：接收输入的处理字段信息的请求，所述处理字段信息的请求中包含输入的字段信息；根据预设的字段信息与存储引擎中的数据记录的物理位置信息的对应关系，将所述输入的字段信息翻译转换为相应的物理位置信息，所述数据记录中包括物理位置信息和数据内容；向存储引擎发送处理数据的请求，所述处理数据的请求中包含翻译转换后得到的物理位置信息，使得存储引擎根据所述物理位置信息，获得数据记录中相应物理位置的数据内容进行处理并返回。

可选的，所述输入的处理字段信息的请求包括以下其中一种：查询所述字段信息的请求，更新所述字段信息的请求，以及聚合所述字段信息的请求。

可选的，所述数据记录包括两种以上的数据架构，其中有至少两种数据架构的数据记录具有公共字段，所述公共字段中的数据内容中数据值为正值或负值与数据架构类型相关。

可选的，所述字段信息包括：字段名称。

为解决上述问题，本发明实施例还提供了另一种数据处理方法，所述方法包括：接收客户端发送的处理数据的请求，所述处理数据的请求中包含所请求数据的物理位置信息，所述物理位置信息为所述客户端根据预设的字段信息与存储引擎中的数据记录的物理位置信息的对应关系，将输入的字段信息翻译转换得到的；根据所述物理位置信息，获得数据记录中相应物理位置的数据内容，对所述数据内容进行处理，并将处理结果返回客户端。

可选的，所述客户端发送的处理数据的请求包括：查询所述输入的字段信息的请求，更新输入的字段信息的请求，以及聚合输入的字段信息的请求。

可选的，所述数据记录包括两种以上的数据架构，其中有至少两种数据架构的数据记录具有公共字段，所述公共字段中的数据内容中数据值为正值或负值与数据架构类型相关。

可选的，当接收到输入的聚合不同数据架构的公共字段信息的请求时，所述对所述数据内容进行处理，并将处理结果返回客户端，包括：将数据记录中所请求的数据架构的公共字段中的数据内容进行求和运算，并将求和结果返回客户端。