[发明专利]一种特大LOB数据高并发低延迟的更新访问方法

说明书

本发明提供了一种特大LOB数据高并发低延迟的更新访问方法，包括如下内容：1)创建用户表时，为每个LOB列创建至少一个HDFS文件,用于存储LOB数据；2)针对每个LOB列，创建一个SQL分区表；3)当LOB值小于等于预设的第一阀值时，分割成多行直接存储到SQL分区表中以及相关的元信息；当LOB值大于第一阀值时则存储到HDFS文件中，SQL分区表则用于保存LOB数据存储在HDFS文件中产生的元数据。本发明将分布式文件系统的高吞吐特性和分布式SQL表的低延迟以及ACID特性巧妙的结合起来，采用记录少量Delta数据以及SQL表常驻内存特性来提高更新的性能，并把耗时的操作比如I/O等从用户发起的事务中剥离出来。

技术领域

本发明属于分布式数据库技术领域，尤其是涉及一种特大LOB数据高并发低延迟的更新访问方法。

背景技术

数据库技术主要是指(1)关系型数据库，从早期的单机数据库(Oracle、MySQL)到分布式数据库,再到现在成为发展主流的HTAP数据库，即NewSQL数据库。(2)NoSQL数据库，比如：文档数据库(MongoDB)、XML数据库(BaseX)、Redis Key-Value数据库和图数据库等。

LOB是关系型数据库中大对象字段类型，应用于数据量非常大的业务领域，如图像档案等半结构和非结构数据。LOB又分为BLOB和CLOB两种：(1)CLOB，即字符型大对象，与字符集相关适用于存储文档和大部头著作等文本型数据以及XML数据。(2)CLOB，即二进制大对象，适用于存储如图像音频等字节流数据。特大LOB数据包括两层含义：1.表中具体一行上某个LOB字段值巨大；2.LOB字段值本身不太大，但表中行数巨多从而LOB字段上总数据量巨大。

以关系型数据库Oracle为例，其LOB数据支持ACID属性，并且提供一致性读。在数据量不太大的情况下提供了很好的增删改查的性能。对于文档和XML数据即可存储在CLOB中，也可分别采用文档数据库和XML数据库等专用数据库来存储。此专用数据库属于NoSQL数据库范畴，对此类特定数据提供了更非富和个性化的存储检索方法，并且针对更新操作通常采用最终一致性方案，而非ACID属性。

分布式数据库最初利用多节点的计算和存储能力以及易扩展性等优势应用于大数据分析场景，但无法实现实时数据分析。目前用户对实时数据分析需求愈发强烈，分布式数据库实现交易业务和分析业务等混合负载处理迫在眉睫，即HTAP(HybridTransactional/Analytical Processing)数据库。

现有技术中，OLTP场景关系型单机数据库存在如下缺点或限制：

1.架构本身无法线性扩展，并给运维带来了挑战。

2.无法满足目前海量数据存储需求。比如Oracle的一个LOB字段值最多能容纳4GB数据。

3.更不适合分析型查询，分析型更关注读取整个数据集的整体时间和高吞吐量。

现有技术中，OLAP场景关系型分布式数据库存在如下缺点或限制：

1.无法提供低延迟高并发的OLTP场景的查询请求。访问模式普遍是一次写入多次读取。

2.一般采用多套系统，OLTP场景一套系统(生产数据)，OLAP场景一套系统(分析数据)。做分析之前需把数据从生产系统导入分析系统，三方面弊端：计算和存储资源利用率低、无法实现实时分析、数据链条变长出现故障概率变大。

对于HTAP关系型数据库不仅要保留分布式数据库优点(整合所有节点的计算和存储等资源、线性扩展、满足分析场景的高吞吐需求)还要高效地处理低延迟高并发的交易型请求。因此HTAP数据库支持线性扩展同时，还从纵向采用了计算和存储分离设计方案来支持OLTP和OLAP混合查询，计算节点和存储节点按需单独扩展，灵活性更高。HTAP数据库还可把计算节点分为两类：一类处理交易型的查询，一类处理分析型查询，但他们共享一套存储。