[发明专利]异构数据编码、解码方法和装置、计算机设备和存储介质

说明书

本申请涉及一种异构数据编码、解码方法、装置、计算机设备和存储介质。所述编码方法包括：获取待编码异构数据；待编码异构数据中的各字段分配有唯一的标识值；将待编码异构数据转换为有序映射表结构；对有序映射表结构进行编码处理，生成编码后的字节流；解码方法包括：基于待解码异构数据中各字段的信息，以及各字段的字段名与其对应的唯一的标识值之间的映射关系生成待解码异构数据的数据表视图；若待解码异构数据的数据表中能够查询得到各字段对应的唯一的标识值，对待解码异构数据进行解码处理，获取解码后的数据。采用本方法能够提高存储利用率和解码性能。

技术领域

本申请涉及数据结构技术领域，特别是涉及一种异构数据编码、解码方法、装置、计算机设备和存储介质。

背景技术

在基于MPP大数据分析引擎IMPALA的系统中，对于异构数据一般采用分开存储的方案，对于具有相同数据组织形式的数据存放在相同的数据表，或者对于异构数据采用JSON序列化成字符串后统一存储在相同的数据表。一般数据库创建数据表时，需要明确指定各个字段的数据名称以及数据类型，虽然有复杂结构类型如MAP等的支持，但其MAP字段类型一般不支持泛型的使用，同时若采用JSON字符串存储，数据分析时解码存在性能损失的弊端。

现有的异构数据编码时采用JSON格式字符串存储，存在较大的存储浪费情况以及在解码时存在较大的性能损失。

发明内容

基于此，有必要针对上述技术问题，提供一种能够提高存储利用率和解码性能的异构数据编码、解码方法、装置、计算机设备和存储介质。

一种异构数据编码方法，所述方法包括：

获取待编码异构数据；所述待编码异构数据中的各字段分配有唯一的标识值；

将所述待编码异构数据转换为有序映射表结构；所述有序映射表结构中包含各字段的字段值和各字段唯一的标识值，各字段的字段名和各字段唯一的标识值是一一映射的；

对所述有序映射表结构进行编码处理，生成编码后的字节流。

在其中一个实施例中，所述将所述待编码异构数据转换为有序映射表结构包括：

获取所述待编码异构数据中各字段的字段名；

将所述待编码异构数据中各字段的字段名与各字段的唯一的标识值进行一一对应，获取有序映射表结构。

在其中一个实施例中，所述对所述有序映射表结构进行编码处理，生成编码后的字节流包括：

基于所述有序映射表结构，生成所述有序映射表结构对应的索引区和数据值信息；所述索引区包含多条索引记录；

基于所述有序映射表结构对应的索引区和数据值信息，生成编码后的字节流。

在其中一个实施例中，所述基于所述有序映射表结构对应的索引区和数据值信息，生成编码后的字节流包括：

对所述有序映射表结构对应的索引区和数据值信息进行合并处理，获取合并后的数据；

将所述合并后的数据作为编码后的字节流。

一种异构数据解码方法，所述方法包括：

获取待解码异构数据中各字段的字段信息；所述待解码异构数据是编码后的字节流；所述字段信息包含各字段的唯一的标识值；

基于待解码异构数据中各字段的字段信息，以及各字段的字段名与其对应的唯一的标识值之间的映射关系生成待解码异构数据的数据表视图；

若待解码异构数据的数据表中能够查询得到各字段对应的唯一的标识值，对所述待解码异构数据进行解码处理，获取解码后的数据。

在其中一个实施例中，所述对所述待解码异构数据进行解码处理，获取解码后的数据包括：