[发明专利]一种智能大数据处理方法和装置

权利要求书

1.一种智能大数据处理方法，其特征在于，包括：

形成存储大数据的包括多个计算机的计算机集群；

采集大数据；

以列式存储的方式，将采集到的大数据存储到LSM树中；将各个LSM树分别存储到所述计算机集群中的各个计算机中。

2.根据权利要求1所述的方法，其特征在于，应用于智能视觉监控系统，

进一步包括：预先设置基于LSM树的分布式存储表，该存储表以时间段的视频作为行健，目标的实时检测、目标分类、运动目标的跟踪过程、视频内容的分析分别作为列族；并在计算机集群中的每一个计算机中保存该基于LSM树的分布式存储表；

所述以列式存储的方式将采集到的大数据存储到LSM树中包括：

将采集到的大数据，按照目标的实时检测、目标分类、运动目标的跟踪过程、视频内容的分析进行分类处理后，分别存储到所述分布式存储表中对应列族的LSM树中；在每一个列族中，将每一个LSM树中的数据写入内存中，当每一个LSM树达到预定大小后，将内存中的LSM树的数据溢出到磁盘中，并定期将磁盘中的LSM树合并成一棵新的LSM树。

所述将各个LSM树分别存储到所述计算机集群中的各个计算机中包括：将合并后的各个新的LSM树分别存储到所述计算机集群中的各个计算机中。

3.根据权利要求1所述的方法，其特征在于，在所述将各个LSM树分别存储到所述计算机集群中的各个计算机中之后，进一步包括：

为所述计算机集群中的每一个计算机建立对应的任务；在接收到实际任务之后，将各个实际任务分发到所述计算机集群中对应的计算机中；各个实际任务从被分发到的计算机中存储的LSM树中实时读取或分析大数据。

4.根据权利要求3所述的方法，其特征在于，所述实际任务为mapreduce任务。

5.根据权利要求1至4中任一所述的方法，其特征在于，所述采集大数据包括：采集设定时间段内的智能视觉监控系统中的数据。

6.一种智能大数据的处理装置，其特征在于，包括：

形成单元，用于形成存储大数据的包括多个计算机的计算机集群；

采集单元，用于采集大数据；

LSM树处理单元，用于以列式存储的方式，将采集到的大数据存储到LSM树中；

集群处理单元，用于将各个LSM树分别存储到所述计算机集群中的各个计算机中。

7.根据权利要求6所述的装置，其特征在于，所述LSM树处理单元，进一步用于设置基于LSM树的分布式存储表，该存储表以时间段的视频作为行健，目标的实时检测、目标分类、运动目标的跟踪过程、视频内容的分析分别作为列族；并在计算机集群中的每一个计算机中保存该基于LSM树的分布式存储表；将采集到的大数据，具体按照目标的实时检测、目标分类、运动目标的跟踪过程、视频内容的分析进行分类处理后，分别存储到所述分布式存储表中对应列族的LSM树中；在每一个列族中，将每一个LSM树中的数据写入内存中，当每一个LSM树达到预定大小后，将内存中的LSM树的数据溢出到磁盘中，并定期将磁盘中的LSM树合并成一棵新的LSM树。

所述集群处理单元，具体是将合并后的各个新的LSM树分别存储到所述计算机集群中的各个计算机中。

8.根据权利要求6所述的装置，其特征在于，所述集群处理单元，进一步用于为所述计算机集群中的每一个计算机建立对应的任务；在接收到实际任务之后，将各个实际任务分发到所述计算机集群中对应的计算机中；各个实际任务从被分发到的计算机中存储的LSM树中实时读取或分析大数据。