[发明专利]基于SparkStreaming的电力系统日志数据实时处理方法

权利要求书

1.一种基于Spark Streaming的电力系统日志数据实时处理方法，其特征在于：包括以下步骤：

(1)定义不同日志类别的统计模型，统计模型包括元素：数据集、结果集、分组条件、分组过滤器和规则动作；

(2)构建Spark Streaming块间隔与数据流处理时间的关系模型，将数据流划分成若干数据块的时间，即块间隔；若干数据块组合成一个批次的时间，即批间隔；

(3)给定批间隔，利用贪心算法，动态调整块间隔，探寻最优块间隔；

所述贪心算法步骤为：

(3.1)初始块间隔表示为β，调整步长为i；

(3.2)如果块间隔为β的批处理时间小于块间隔为β+i的批处理时间，则最优的块间隔在初始块间隔的左侧；如果块间隔为β的批处理时间小于块间隔为β-i的批处理时间，则最优的块间隔在初始块间隔的右侧；

(3.3)当探寻到最优块间隔的方向，继续循环探索，直到处理时间不能再次减小。

2.根据权利要求1所述的基于Spark Streaming的电力系统日志数据实时处理方法，其特征在于：所述步骤(2)中关系模型构建步骤：

(2.1)分批模块将接收的数据流根据块间隔划分成独立的数据块；

(2.2)将一个批间隔时间内的数据块包裹成一个批次，进入批队列中排队等待被处理；

(2.3)一个批间隔时间内的所有块间隔的数据并行处理。