[发明专利]一种流数据的分类方法及其装置和系统

权利要求书

1.一种流数据分类装置，其特征在于，包括：

分布处理器模块，用于接收包括内容事件的流数据，并将所述流数据分别标记为测试数据和训练数据，及将所述测试数据和训练数据依次予以随机均衡地分发出去；

属性统计处理器模块，用于将接收所述训练数据，并对所述训练数据中每个内容事件的属性信息进行统计以得到所述每个所述内容事件的属性统计信息，并将所述属性统计信息实时地更新输出；

聚合处理器模块，用于接收所述属性统计信息和所述测试数据，根据所述属性统计信息计算得到所述测试数据的后验概率，并选取其中最大的后验概率作为待实时分类判定的所述测试数据的分类判定结果并予以输出。

2.根据权利要求1所述的流数据分类装置，其特征在于，所述测试数据和所述训练数据为同一流数据。

3.根据权利要求1所述的流数据分类装置，其特征在于，所述属性统计处理器模块包括：

多个本地机器学习模块，分别用于对应接收所述训练数据，并对所接收到的所述训练数据中每个内容事件的属性信息进行统计以得到所述每个所述内容事件的属性统计信息，并将所述属性统计信息予以输出；

全局机器学习模块，用于接收所述属性统计信息，并将予以实时地输出。

4.根据权利要求1所述的流数据分类装置，其特征在于，包括一个或者至少多个所述聚合处理器模块，且每个所述聚合处理器模块彼此独立。

5.根据权利要求1-4任一项所述的流数据分类装置，其特征在于，所述属性统计信息包括：所述训练数据中每个内容事件的属性值、及其类标记和权重。

6.一种流数据分类系统，其特征在于，包括：

数据源处理器模块，用于接收外部数据流，且将所述数据流包装成包括多个内容事件的流数据，并予以实时输出；

分布处理器模块，用于接收包括多个内容事件的所述流数据，并将所述流数据分别标记为测试数据和训练数据，及将所述测试数据和训练数据依次予以随机均衡地分发出去；

属性统计处理器模块，用于接收所述训练数据，并对所述训练数据中每个内容事件的属性信息进行统计以得到所述每个所述内容事件的属性统计信息，并将所述属性统计信息实时地更新输出；

聚合处理器模块，用于接收所述属性统计信息和所述测试数据，根据所述属性统计信息计算得到所述测试数据的后验概率，并选取其中最大的后验概率作为待实时分类判定的所述测试数据的分类判定结果并予以输出。

7.根据权利要求6所述的流数据分类系统，其特征在于，所述流数据分类系统还包括：

评价处理器模块，用于接收所述分类判定结果，并利用时间窗的方法对所述分类判定结果进行实时的评价和判断，以得到所述分类判定结果的正确率并予以输出。

8.一种流数据分类方法，其特征在于，包括：

接收外部数据流，且将所述数据流包装成包括多个内容事件的流数据，并予以实时输出；

将所述流数据分别标记为测试数据和训练数据，并将所述测试数据和训练数据依次予以随机均衡地分发出去；

对所述训练数据中每个内容事件的属性信息进行统计，以得到所述每个所述内容事件的属性统计信息，并将所述属性统计信息实时地更新输出；

根据所述属性统计信息计算得到所述测试数据的后验概率，并选取其中最大的后验概率作为待实时分类判定的所述测试数据的分类判定结果并予以输出。

9.根据权利要求8所述的流数据分类方法，其特征在于，所述流数据分类方法还包括：

利用时间窗的方法对所述分类判定结果进行实时的评价和判断，以得到所述分类判定结果的正确率并予以输出。

10.根据权利要求8所述的流数据分类方法，其特征在于，利用贝叶斯公式计算得到所述测试数据的后验概率，并假设所述每个所述内容事件的属性值对给定类的影响独立于其它属性的值。