[发明专利]一种数据处理系统、方法、装置、介质和设备

说明书

本发明涉及一种数据处理系统、方法、装置、介质和设备。若第一终端以关系型数据库的数据库表存储第二终端所需的数据，第二终端需要按照数据库表中的列从第一终端中获取数据，第一终端按照列来缓存数据集合，第二终端请求获取数据库表中各个列对应的数据集合时，第一终端可以直接提供缓存的数据集合，无需对缓存的每个数据集合进行遍历，可以直接提供缓存的数据集合，减少系统资源的占用，加速客户端数据获取速度。另外，在数据库表增加列时，直接针对增加的列增加缓存一个数据集合即可，不会产生缓存数据冗余，且在仅缓存一份数据的情况下，无需复杂的转换逻辑，即可以快速地实现采用各种协议版本的客户端的按列的数据拉取。

技术领域

本发明涉及通信技术领域，特别涉及一种数据处理系统、方法、装置、介质和设备。

背景技术

关系型数据库，是指采用了关系模型来组织数据的数据库。关系模型可以简单理解为二维表格模型，而一个关系型数据库就是由二维表(一系列的行和列组成的数据库表)及其之间的关系组成的一个数据组织。

在客户端和服务器进行数据交互时，服务器可以使用关系型数据库来维护客户端所需数据。服务器维护的数据库表中，通常惯用每行表示一个实体，每列表示实体的某种属性，从而通过数据库表来记录各个实体的各种属性数据，此时，数据库表中的一行中各个列中的数据可以理解为组成一条记录。为了提升服务器的鲁棒性以应对高请求量，服务器向客户端提供一个数据库表中的数据时，通过数据库表的缓存来实现。

按照目前的通用方法，服务器一般利用内存或非关系型数据库(nosql)来缓存数据库表中的数据。缓存采用的数据结构可以是字典结构、数组结构或者其他结构。

而基于数据库表的惯用表示方式，不论采用何种方式实现缓存，其基本思想，是批量地将数据库表中的每一行数据，分别采用一个数据结构进行缓存，然后可以在客户端以行为单位拉取数据时，通过各个数据结构，提供实体的各种属性数据。

如果客户端进行功能需求的迭代，数据库表常常需扩展增加列，用于增加实体的属性。在数据库表中增加列的示意图可以如图1所示，在原有的数据库表每个行(row1、row2和row3)对应列(col1、col2、col3、col4和col5)的基础上，进行列扩展后，在数据库表中增加了列col6，列col6中的每个数据即为增加的列数据。

每进行一次功能需求的迭代，可以理解为客户端更新一次协议版本，此时由于数据库表中增加了新的列，缓存所对应的每个数据结构也应当增加新的列。由于目前将数据以每一行为单位进行缓存，此时针对存在更新的数据库表，有以下两种缓存方案：

方案一、缓存一份数据，该份数据中，每个数据结构和最新的数据库表相匹配。这种方案的优点在于，根据最新的数据库表缓存一份数据，缓存数据没有冗余；其缺点在于，客户端从服务器拉取数据时，需要将缓存数据的数据结构转换为客户端采用的协议版本所需的数据结构。协议版本越多，转换逻辑也就越多，系统资源占用也就越多。这种方案下，存在服务器数据转换逻辑复杂，占用较多的系统资源的问题，且影响客户端获取数据的速度。

方案二、缓存多份数据，针对每份数据，数据结构和一种客户端协议版本相匹配。这种方案的优点在于，针对每种客户端协议版本缓存一份数据，这样，采用某种协议版本的客户端从服务器拉取数据时，可以直接复制对应的缓存数据；其缺点在于，针对同一数据库表，需要针对每种协议版本，缓存多份数据，导致数据冗余严重，缓存逻辑复杂。

且目前的数据缓存方式没有考虑客户端需要以列为单位从数据库中拉取数据的问题。针对某些客户端，如果客户端需要按照列从服务器中拉取数据，即以每一列为单位从服务器中拉取数据时，由于目前将数据以每一行为单位进行缓存，针对客户端的数据拉取，服务器需要遍历每个数据结构，做复杂的逻辑转换，才可以以列的形式向客户端提供数据。由此会进一步导致占用较多的系统资源，客户端获取数据速度慢的问题。

发明内容