[发明专利]一种面向流式数据的在线处理方法及系统

权利要求书

1.一种面向流式数据的在线处理方法，其特征在于，包括：

步骤1，建立在线内存缓存层，对所述流式数据按照键值结构进行属性抽取后存储在所述在线内存缓存层中；

步骤2，在所述内存缓存层中对所述流式数据建立混合索引结构；

步骤3，对建立好索引结构的每条流式数据增加一个访问标志位，此标志位用于标志不同分析程序对于该流式数据的注册情况，同时对每一个分析程序访问流式数据的状态进行记录；

步骤4，数据清理，若某流式数据被所述内存缓存层中的所有指定的分析程序访问过，则将该流式数据进行清理操作。

2.如权利要求1所述的在线处理方法，其特征在于，所述在线处理方法还包括动态注册步骤：

某个分析程序从所述内存缓存层中读取流式数据后，检查所述流式数据的访问标志位：

如果该流式数据已经被所述分析程序访问过，是已读标志位，则不将该流式数据返回所述分析程序；

如果该流式数据没有被所述分析程序访问过，是未读标志位，则将该流式数据返回给所述分析程序，并且将该流式数据的标志位设置成已读标志位。

3.如权利要求1所述的在线处理方法，其特征在于，所述步骤1中的键值结构的建立方式是：对于每一条流式数据，内存缓存层将为其分配一个唯一的ID号作为记录的键，该键记录该流式数据所有属性的信息。

4.如权利要求1所述的在线处理方法，其特征在于，所述步骤2中所述混合索引结构是按照键值结构、B+树索引结构和哈希索引结构相结合建立的。

5.如权利要求1所述的在线处理方法，其特征在于，所述步骤2包括：

判定所述在线缓存层中的流式数据是否需要按字段查询：

若需要按字段查询：如果需要按照当前属性进行区间查询，对此属性字段建立B+树索引结构，如果需要按照当前属性进行主键查询，则对此属性字段建立哈希索引结构；

若不需要按字段查询，则不需要对此属性字段建立索引结构。

6.如权利要求1所述的在线处理方法，其特征在于，所述步骤3中：所述访问标志位是一个32位整型数字，每个整型数字的每一个比特位都可以表示一个分析程序对于流式数据的访问状态，对于内存中的流式数据初始化时，每条流式数据的访问标志位的每个比特位都是0；

当分析程序向内存缓存层进行注册时，所述内存缓存层为其分配一个访问标志位，当某个分析程序访问一个流式数据后，所述内存缓存层将所述流式数据的访问标志位与该分析程序的访问标识进行按位运算，并将计算后的结果作为该流式数据当前的访问标志位。

7.如权利要求1所述的在线处理方法，其特征在于，所述步骤4中：

读取流式数据后，检查所述流式数据的访问标志位：

如果该流式数据被所有注册的分析程序访问过，则将该流式数据从内存缓存层里清除；

否则查询该流式数据的驻留时间是否超过阈值，若未超过该阈值则继续等待分析程序的访问，若超过该阈值则将该流式数据从内存缓存层里清除。

8.一种面向流式数据的在线处理系统，其特征在于，包括：

在线内存缓存层构建模块，用于建立在线内存缓存层，对所述流式数据进行属性抽取后按照键值结构存储在所述在线内存缓存层中；

混合索引结构建立模块，用于在所述内存缓存层中对所述流式数据建立混合索引结构；

访问标志位构建模块，用于对建立好索引结构的每条流式数据增加一个访问标志位，此标志位用于标志不同分析程序对于该流式数据的注册情况，同时对每一个分析程序访问流式数据的状态进行记录；

内存流式数据清理模块，用于对被所述内存缓存层中的所有指定的分析程序访问过的流式数据，进行清理操作。

9.如权利要求8所述的在线处理方法，其特征在于，所述在线处理系统还包括：

流式数据退出返回模块，用于读取流式数据后，检查所述流式数据的访问标志位：如果该流式数据已经被分析程序访问过，是已读标志位，则不将该流式数据返回分析程序；如果该流式数据没有被分析程序访问过，是未读标志位，则将该流式数据的标志位设置成已读标志位，并且返回该流式数据给分析程序。

10.如权利要求8所述的在线处理方法，其特征在于，所述内存流式数据清理模块中：

当分析程序从所述内存缓存层中读取流式数据后，检查所述流式数据的访问标志位：如果该流式数据被所有注册过的分析程序访问过，则将该流式数据从内存缓存层里清除该流式数据；否则查询该流式数据的驻留时间是否超过阈值，若未超过该阈值则继续等待分析程序的访问，若超过该阈值则将该流式数据从内存缓存层里清除该流式数据。