[发明专利]一种基于HDFS的LOB数据处理方法及装置

说明书

本发明实施例提供一种基于HDFS的LOB数据处理方法及装置，根据终端发送的数据存储请求获取多个待存储LOB数据，将所有待存储LOB数据依次写入至少一个数据存储单元，对于任意一个已存储LOB数据，获取已存储LOB数据在所在数据存储单元中的存储位置，作为已存储LOB数据对应的第一索引信息，将已存储LOB数据对应的第一索引信息写入预设索引文件；获取已存储LOB数据对应的第一索引信息在预设索引文件中的存储位置，作为已存储LOB数据对应的第二索引信息，将已存储LOB数据对应的第二索引信息返回给终端。该方法及装置能够将部分待存储LOB数据统一写入一个数据存储单元，以使得每个数据存储单元存储空间的利用率实现最大化，一定程度上有效节省了LOB数据的整体存储空间。

技术领域

本发明实施例涉及计算机技术领域，更具体地，涉及一种基于HDFS的LOB数据处理方法及装置。

背景技术

LOB数据是一种用于存储大对象的数据类型，如医学记录(如X-射线)、视频、图像等。目前，LOB数据一般采用HDFS分布式文件系统进行存储，HDFS分布式文件系统中的一个存储单元为一个block，在采用HDFS分布式文件系统进行LOB数据存储时，一个block往往只能存储一个LOB数据。

然而，一个block的大小固定为128MB，一个LOB数据的大小范围是0-2GB，有些LOB数据的大小往往不足128MB，有些LOB数据的大小甚至不足10MB，这些LOB数据可以称为小型LOB数据。若需对大量小型LOB数据进行存储，则需针对每个小型LOB数据分配一个block，而每个小型LOB数据的大小于远远小于一个block的大小，从而导致每个block中将存在大量存储空间被浪费。

有鉴于此，亟需提供一种基于HDFS的LOB数据处理方法及装置，以解决现有LOB数据存储方式所存在的大量存储空间被浪费的问题。

发明内容

本发明实施例为了解决现有LOB数据存储方式所存在的大量存储空间被浪费的问题，提供一种基于HDFS的LOB数据处理方法及装置。

第一方面，本发明实施例提供一种基于HDFS的LOB数据处理方法，包括：

根据终端发送的数据存储请求获取多个待存储LOB数据，将所有待存储LOB数据依次写入至少一个数据存储单元，其中，每个数据存储单元能够存储多个待存储LOB数据；

对于任意一个已存储LOB数据，获取所述已存储LOB数据在所在数据存储单元中的存储位置，作为所述已存储LOB数据对应的第一索引信息，将所述已存储LOB数据对应的第一索引信息写入索引管理文件；

获取所述已存储LOB数据对应的第一索引信息在所述索引管理文件中的存储位置，作为所述已存储LOB数据对应的第二索引信息，将所述已存储LOB数据对应的第二索引信息返回给终端。

第二方面，本发明实施例提供一种基于HDFS的LOB数据处理装置，包括：

数据存储模块，用于根据终端发送的数据存储请求获取多个待存储LOB数据，将所有待存储LOB数据依次写入至少一个数据存储单元，其中，每个数据存储单元能够存储多个待存储LOB数据；

第一索引模块，用于对于任意一个已存储LOB数据，获取所述已存储LOB数据在所在数据存储单元中的存储位置，作为所述已存储LOB数据对应的第一索引信息，将所述已存储LOB数据对应的第一索引信息写入索引管理文件；

第二索引模块，用于获取所述已存储LOB数据对应的第一索引信息在所述索引管理文件中的存储位置，作为所述已存储LOB数据对应的第二索引信息，将所述已存储LOB数据对应的第二索引信息返回给终端。

第三方面，本发明实施例提供一种电子设备，包括存储器、处理器及存储在存储器上并可在处理器上运行的计算机程序，所述处理器执行所述程序时实现如第一方面所提供的方法的步骤。