[发明专利]情报大数据智能分析方法

说明书

本发明提供了一种情报大数据智能分析方法，包括：在对象存储集群中提供列块存储区，列块存储区具有条带化的分区数据表；将列块从对象存储集群传输到情报分析服务器的多个解析节点；从客户端接收查询请求，以使多个解析节点对划分成列块的数据表的查询进行分布式并行处理；缓存与查询请求相关联的列块的子集，以在所缓存的列块子集中执行查询请求的事务序列；获取由多个解析节点执行查询请求的事务序列的执行结果，由当前解析节点将其他解析节点所执行的查询请求的事务序列的执行结果进行组合。本发明减少了列块存储区中多个节点之间的数据传输，在处理查询方面提供了更多的灵活性和效率，尤其适用于商业情报应用的数据挖掘。

技术领域

本发明属于大数据分析领域，特别涉及一种情报大数据智能分析方法。

背景技术

随着移动互联网的飞速发展，商业情报的数据量出现了爆炸式增长。通过对合作伙伴的商业行为分析，发现潜在的市场需求和风险，是提升价值和经营水平的有效手段。然而，大数据量给传统的数据分析处理技术带来了挑战。并且现有的分布式存储系统不能无缝地扩展到需要快速高效检索和处理大量数据的商业情报分析和挖掘应用。例如针对万亿字节量级的数据，分布式存储系统通常存储特定格式的表数据，如在多个服务器上存储水平分区表，以将数据行的子集存储于对象存储集群的数据表中。然后通过检索具有多个关联列的行来处理分布式存储系统的数据检索。如果遇到失败的事务，则分布式存储系统需要回滚到失败事务之前的状态。事实证明，这种分布式存储系统实现对于更新万亿字节量级的大型数据集效率较低。

发明内容

本发明在第一方面提供了一种情报大数据智能分析方法，包括：

在对象存储集群中提供列块存储区，所述列块存储区具有条带化的分区数据表；将所述列块从所述对象存储集群传输到情报分析服务器的多个解析节点；

从客户端接收查询请求，以使所述多个解析节点对划分成列块的数据表的查询进行分布式并行处理；

其中，所述情报分析服务器进一步包括：查询解析器，用于验证所述查询请求的语法；语义分析器，用于验证所述查询请求的语义内容；以及优化器，用于确定由多个解析节点进行分布式并行处理的查询请求的事务序列；

缓存与所述查询请求相关联的列块的子集，以在所缓存的列块子集中执行所述查询请求的事务序列；

获取由多个解析节点执行所述查询请求的事务序列的执行结果，由当前解析节点将其他解析节点所执行的查询请求的事务序列的执行结果进行组合。

优选地，所述情报分析服务器的多个解析节点包括第一层、第二层和第三层解析节点，其中：

所述第一层解析节点接收处理情报数据的查询请求，确定所述查询所对应的事务序列，其中所述情报数据预先存储为列块，并在多个解析节点之间缓存；

所述第二层解析节点从所述第一层解析节点接收转译后的查询，所述转译后的查询指示所述第二层查询节点触发所述查询的分布式并行处理；

所述第三层解析节点执行转译后的查询所对应的事务序列。

优选地，所述多个解析节点对划分成列块的数据表的所述查询请求进行分布式并行处理，进一步包括：

接收对数据表中的列块的查询，遍历包括多个节点的层级树结构，基于列块ID标识层级树结构的一组叶节点，处理对该组叶节点的数据表的列块的查询；并基于生成查询结果。

优选地，所述层级树结构中的每个叶节点与数据表中的列块相关联，层级树结构中的每个叶节点包括表示与叶节点相关联的列块的值的超集的数据，每个非叶节点包括表示由非叶节点的子节点中的数据描述的值的超集的数据。

优选地，所述数据表每一列的值是长整型值，其中所述层级树结构中的每个叶节点的数据根据所述长整型值的数值范围表示与所述叶节点相关联的列块的值。