[发明专利]在分片数据库环境中处理半结构化和非结构化数据

说明书

本文描述了用于利用和扩展关系数据分片基础设施以在单个分片数据库系统中除了关系数据之外还提供对分片半结构化和非结构化数据的全面支持的技术。具体而言，描述了其中目录服务器预先收集它需要的所有数据，以回答从动态创建的临时lob的获取的技术。此外，提供了其中目录服务器在发送给客户端的lob定位符中对碎片标识符进行编码的技术。提供了用于将各种操作符下推到碎片服务器的技术。

技术领域

本发明涉及数据库系统，更具体而言，涉及其中分片表存储半结构化数据项的数据库系统。

背景技术

存储越来越多的数据的数据库系统正变得越来越普遍。例如，在线交易处理(OLTP)系统，诸如电子商务、移动、社交和软件即服务(SaaS)系统，通常需要大型数据库存储装置。OLTP系统的示例应用包括但不限于大型计费系统、票务系统、在线金融服务、媒体公司、在线信息服务和社交媒体公司。给定这些数据库系统存储的大量数据，将所有数据存储在单个数据库实例上是不切实际的，因为大量数据会利用大量的计算资源，诸如处理器、存储器和存储装置。

此外，非关系数据库(有时也称为NoSQL数据库)没有提供关系数据库的全部功能。例如，NoSQL数据库没有提供与关系数据库相同的模式控制、原子性、一致性、隔离性、持久性或功能全面的结构化查询语言(SQL)。

为了更高效地处理结构化良好的关系数据，已开发了用于“水平分区”数据库的技术。水平分区涉及将单个较大的表分解成更小、更易于管理的信息子集，称为“分区”。分片是数据层体系架构，其中数据跨独立的数据库实例进行水平分区，其中每个独立的数据库实例被称为“碎片”。碎片的集合一起构成单个逻辑数据库，其被称为“分片数据库”(“SDB”)。逻辑上，分片数据库可以像传统的未分片数据库一样被客户端应用访问。但是，分片数据库中的表跨各个碎片进行水平分区。

图1图示了未分片数据库100和分片数据库110的示例。未分片数据库100是关系数据库，并且包括表102。表102的所有内容都存储在相同的未分片数据库100中，并且因此使用相同的计算资源，诸如处理器、存储器和磁盘空间。

但是，分片数据库110描绘了使用分片技术的替代配置。分片数据库110包括三个碎片112、114和116。碎片112、114和116中的每一个都是其自己的数据库实例，并且分别包括其自己的表113、115和117。但是，在分片数据库110中，表102已跨碎片112、114和116被水平划分成表113、115和117。分片数据库中的水平分区涉及跨碎片拆分数据库表(诸如表102)，使得每个碎片包含表102的行的子集。在这个示例中，表113、115和117每个包含表102的行的子集。表113、115和117可以被统称为“分片表”。表113、115和117中共同存储的数据与表102中存储的数据等同。分片数据库110在逻辑上被视为单个数据库，并且因此可以由客户端应用像对分片数据库100那样进行访问。

图2是分片数据库系统的框图。客户端应用210是需要访问存储在数据库中的数据的任何种类的客户端应用。分片数据库250是逻辑数据库，其中数据跨独立的数据库实例进行水平分区。具体而言，存储在分片数据库250中的数据被水平分区并存储在碎片260A、260B和260C中。分片数据库可以包括任何数量的碎片，并且分片数据库中碎片的数量可能随时间而变化。碎片260A、260B和260C中的每一个可以是其自己的数据库实例，该实例确实需要与分片数据库250中的其它碎片共享物理资源，诸如处理器、存储器和/或存储设备。