[发明专利]情报大数据智能分析方法

权利要求书

1.一种情报大数据智能分析方法，其特征在于，包括：

在对象存储集群中提供列块存储区，所述列块存储区具有条带化的分区数据表；将所述列块从所述对象存储集群传输到情报分析服务器的多个解析节点；

从客户端接收查询请求，以使所述多个解析节点对划分成列块的数据表的查询进行分布式并行处理；

其中，所述情报分析服务器进一步包括：查询解析器，用于验证所述查询请求的语法；语义分析器，用于验证所述查询请求的语义内容；以及优化器，用于确定由多个解析节点进行分布式并行处理的查询请求的事务序列；

缓存与所述查询请求相关联的列块的子集，以在所缓存的列块子集中执行所述查询请求的事务序列；

获取由多个解析节点执行所述查询请求的事务序列的执行结果，由当前解析节点将其他解析节点所执行的查询请求的事务序列的执行结果进行组合。

2.根据权利要求1所述的情报大数据智能分析方法，其特征在于，所述情报分析服务器的多个解析节点包括第一层、第二层和第三层解析节点，其中：

所述第一层解析节点接收处理情报数据的查询请求，确定所述查询所对应的事务序列，其中所述情报数据预先存储为列块，并在多个解析节点之间缓存；

所述第二层解析节点从所述第一层解析节点接收转译后的查询，所述转译后的查询指示所述第二层查询节点触发所述查询的分布式并行处理；

所述第三层解析节点执行转译后的查询所对应的事务序列。

3.根据权利要求1所述的情报大数据智能分析方法，其特征在于，所述多个解析节点对划分成列块的数据表的所述查询请求进行分布式并行处理，进一步包括：

接收对数据表中的列块的查询，遍历包括多个节点的层级树结构，基于列块ID标识层级树结构的一组叶节点，处理对该组叶节点的数据表的列块的查询；并基于生成查询结果。

4.根据权利要求3所述的情报大数据智能分析方法，其特征在于，所述层级树结构中的每个叶节点与数据表中的列块相关联，层级树结构中的每个叶节点包括表示与叶节点相关联的列块的值的超集的数据，每个非叶节点包括表示由非叶节点的子节点中的数据描述的值的超集的数据。

5.根据权利要求3所述的情报大数据智能分析方法，其特征在于，所述数据表每一列的值是长整型值，其中所述层级树结构中的每个叶节点的数据根据所述长整型值的数值范围表示与所述叶节点相关联的列块的值。

6.根据权利要求5所述的情报大数据智能分析方法，其特征在于，所述层级树结构中的每个非叶节点的数据根据所述长整型值的数值范围来表示所述超集。

7.根据权利要求3所述的情报大数据智能分析方法，其特征在于，所述对列块集合的查询请求进行处理包括：

对于所述列块集合中的每个列块，确定与当前列块相关联的叶节点的数值范围是否为所述查询请求的数值范围的子集；

如果与所述列块相关联的叶节点的数值范围是查询请求的数值范围的子集，在查询结果中包括所述列块。

8.根据权利要求3所述的情报大数据智能分析方法，其特征在于，其中所述数据表每一列的值是字符串值。

9.根据权利要求8所述的情报大数据智能分析方法，其特征在于，其中所述层级树结构中的每个叶节点的数据根据Cuckoo过滤器和一组hash函数来表示与所述叶节点相关联的列块的值，所述Cuckoo过滤器是从与所述叶节点相关联的列块的字符串值生成的。

10.根据权利要求9所述的情报大数据智能分析方法，其特征在于，其中所述层级树结构中的每个非叶节点的数据根据非叶节点的子节点的相关列块的值来表示超集，所述非叶节点的子节点的相关列块的值从非叶节点的子节点的Cuckoo过滤器和hash函数集来生成。