[发明专利]一种基于天盾数据库列存储的索引及查询方法及系统

说明书

本发明公开了基于天盾数据库列存储的索引及查询方法，经过前置数据库对接收到的数据进行预处理，在前置数据库中设置容纳固定量的表段，在前置数据库中逐行缓存要存储在本地数据库的第一数据，确定第一数据序列，前置数据库根据所述第一数据序列对接收到的第一数据文件的数据块进行排序，将第一数据文件作为标准数据，接收第二数据文件，若判断所述第二数据文件的数据量小于第一数据文件，在前置数据库中按照第一数据序列对第二数据文件进行排序；本地数据库将第一数据文件的列值和数据块的记录标识作为值数据存储到数据块中并按列值大小排序，对前置数据库中的数据块和本地数据库中的数据块建立索引，在进行查询时根据生成的索引数据块对数据进行查询。

技术领域

本发明涉及数据库技术领域，尤其涉及一种基于天盾数据库列存储的索引及查询方法及系统。

背景技术

数据库是以结构化的方式存储数据的电子编档系统。数据库中的主存储结构是表。数据库可以包含多个表，而且每个表可以容纳特定类型的信息。数据库表以水平行和垂直列来存储和组织数据。行通常对应于真实世界的实体或关系，其代表表中的单个记录。列可以指示这些实体或关系的特定属性，诸如“名称”、“地址”或“电话号码”。例如，X公司可以具有包含“客户”表的数据库，“客户”表列出了它的客户的名称、地址和电话号码。每一行可以代表单一的客户，而且列可以代表每个客户的名称、地址和电话号码。

数据库通常存储在一维的计算机存储器中。因此，二维的数据库表必须被映射为一维的数据结构以便存储在数据库中。一种映射方法涉及按行将表存储在数据库中 (即，面向行的存储模型)。这种方法可以使关于单一的实体的信息保持在一起。例如，按行存储可以首先存储关于第一客户的所有信息，然后存储关于第二客户的所有信息，等等。可替换地，表可以被按行存储在数据库中(即，面向列的存储模型)。这种方法可以使不同实体的相同属性保持在一起。例如，按列存储可以首先存储所有客户的名称，然后存储所有客户的地址等。

行存储的写入是一次完成。如果这种写入建立在操作系统的文件系统上，可以保证写入过程的成功或者失败，数据的完整性因此可以确定。列存储由于需要把一行记录拆分成单列保存，写入次数明显比行存储多(意味着磁头调度次数多，而磁头调度是需要时间的，一般在1ms～10ms)，再加上磁头需要在盘片上移动和定位花费的时间，实际时间消耗会更大。所以，行存储在写入上占有很大的优势。

在很多面向列存储的数据库系统中，单行所有列的数据分布在存储盘或多个存储盘上。例如，一个列的数据块可以存储在磁盘存储器上的特定位置，而其他列的数据块可以存储在物理上不相邻的其他位置。因此，访问特定行将需要访问分布在存储磁盘或多个存储磁盘上的多个磁盘块，这会导致显着延迟。不幸的是，许多典型的OLTP 查询经常请求此类操作。

列存储在写入效率、保证数据完整性上都不如行存储，它的优势是在读取过程，不会产生冗余数据，这对数据完整性要求不高的大数据处理领域，比如互联网，犹为重要。

发明内容

本发明旨在至少解决现有技术中存在的技术问题之一。为此，本发明公开一种基于天盾数据库列存储的索引及查询方法，所述方法包括如下步骤：

步骤1，建立云端数据文件到本地的传输链路，从云端数据库接收数据文件，需要经过前置数据库对接收到的数据进行预处理，在前置数据库中设置容纳固定量的表段，在前置数据库中逐行缓存要存储在本地数据库的第一数据，确定第一数据序列，前置数据库根据所述第一数据序列对接收到的第一数据文件的数据块进行排序，其中，所述第一数据文件由多个数据块组成；

步骤2，将第一数据文件作为标准数据，对大于第一数据文件的数据文件由本地数据库进行直接存储；

步骤3，当前置数据库对第一数据文件接收完成后，接收第二数据文件，若判断所述第二数据文件的数据量小于第一数据文件后，则在前置数据库中按照第一数据序列对第二数据文件进行排序；