[发明专利]智能存储单元数据裁剪方法

说明书

技术领域

本发明在分布式数据库集群中用于数据分析检索，属于计算机技术领域。

背景技术

数据库的数据检索一般的主流做法是先把数据从磁盘全部加载到内存，再根据限制条件选择其中的有用部分，如此做法限于磁盘的读性能会成为整个检索过程的瓶颈，尤其是数据量越大体现越明显。

针对这种情况，目前普遍的改良方法有：

列存数据库，数据按列存放，只读取相关列进内存，极大减少磁盘操作，提升性能明显，但有数据维护繁杂困难，对不同应用需设计不同的数据库底层组织方案的缺点，应用的普适性较差。

内存数据库，一开始就将数据加载入内存，在内存读写速度快，可极大提升性能，缺点是相较于硬盘，内存价格昂贵，针对海量数据内存会非常庞大，硬件成本会是一笔极大的开销。

发明内容

本发明的目的在于发明一种能解决数据库中数据检索读取速度慢，无用数据多影响传输与处理效率问题的方法。

本发明主要的功能模块有关系列映射筛选模块，条件过滤下压模块，存储单元按列映射筛选模块，存储单元根据条件按行选择模块。

在用户请求进行分析查询，对数据进行读取时，从存储节点的智能存储单元读取裁剪过后的少量数据而不是先读取所有数据回来再做筛选，提升有效读取率，减少无用数据的读取，提高效率缩短时间。

本发明的目的是通过下述技术方案实现的：

1，智能存储单元

是指存储数据的各单元自身具备选择与投影能力的smart单元。他的选择与投影能力是进行数据裁剪的基础。

2，智能存储单元的使用流程：

<1>客户端接收分析查询语句SQL

<2>WORK工作机接收请求定位涉及的存储节点

<3>存储节点发起IO请求

<4>智能存储单元进行ROWS,COLUMNS裁剪返回少量数据

<5>WORK工作机分析处理数据并返回客户端

<6>返回数据结果集

3，智能存储单元数据裁剪的工作原理

在2所经历的流程中步骤<2>会将筛选条件下压至各存储节点，在步骤<3>中存储节点在发起IO请求时是持有筛选条件的。使得在步骤<4>中通过选择减少不必要的行ROWS，和通过影射能力只读取需要的列COLUMNS，从数据行，数据列两个方面裁剪数据，再把裁剪后的数据送往WORK工作机处理。减小传输数据量同时也减少工作机的待处理数据。 

本发明的目的技术方案实现核心有两点：

a1通过映射关系筛选列，减少不必要的列的读取；

a2通过过滤表达式等进行选择，筛选适当的行，减少不必要的行数据的读取。

智能单元经过这两方面的裁剪减少了中间结果集，减少了数据在网络间的传递，提升了效率。

本发明其优越性能体现在把筛选有用数据的筛选条件下压，交到了底层去各自完成，而不同于传统的方法先把所有的数据取回来，不管有无用处，都经过处理器运算比较筛选后留下有用数据。本发明减少了运算部分的负担，而现有的筛选技术，有基于列筛选的；比如列存数据库等，有基于行做筛选的，如条件表达式等，他们都是基于一个方面做筛选，且有其局限性：列存数据库可用于做专业的查询，但通用性不好，维护复杂。基于条件表达式的筛选，基于表分区的筛选有其自身局限性，查询需根据他们自身的分区特性为基础制定。

本发明中过滤表达式的过滤条件的下压，在存储节点剔除不必要的行，过虑条件的传递，尤其是常数过滤表达式条件的传递可极大的减少中间数据行的检索查询。

本发明中根据列映射的投影关系，可选择有用列,它包括：结果集输出目标列，条件中间列，关系传递列等。根据映射关系我们在进行查询时，只选择相关列，排除不涉及到的列，减少数据读取与传输。

有益效果

本发明具有如下有益效果：

1、  根据筛选条件进行行选择，减少读取数据的行数；

2、  根据列映射关系，剔除无用的列，减少待处理列数；

3、  智能存储单元的数据裁剪工作在数据读取的底层完成，减少了待处理的中间数据集传输，减少网络传输开销；

4、  智能存储单元裁剪后的数据，减少了运算处理单元的工作量与内存资源的使用提高了效率。

附图说明

图1为本发明的智能存储单元数据裁剪应用流程示意图。

具体实施方式