[发明专利]一种流式运算系统、方法、可读介质和存储控制器

权利要求书

1.一种流式运算系统，其特征在于，包括：订阅消息系统、流式数据处理系统和处理模块；其中所述处理模块，用于将所述订阅消息系统与所述流式数据处理系统进行封装，生成数据转换工具；当接收到所述订阅消息系统发送的至少一个数据流时，利用所述数据转换工具对所述至少一个数据流的格式进行标准化处理，并将标准化处理后的所述至少一个数据流发送给所述流式数据处理系统；

所述流式数据处理系统，用于对标准化处理后的所述至少一个数据流进行业务处理；

所述流式数据处理系统，用于从各个所述数据流中选择当前数据流，为所述当前数据流设置已处理标签；对所述当前数据流进行业务处理，当在业务处理过程中出现数据异常时，确定所述数据异常出现的次数是否大于预设阈值，如果大于预设阈值，将当前数据流标记为异常数据流；如果小于预设阈值，删除所述已处理标签，并从未处理的各个数据流中选择出当前数据流，直至各个数据流均被处理；

所述流式数据处理系统，进一步用于将业务处理后的所述至少一个数据流发送给所述处理模块；

所述处理模块，进一步用于根据外部输入的调用指令，确定每一个所述数据流对应的数据输出向；根据所述数据输出向对应的数据格式，分别对各个所述数据流进行格式转换，并将转换后的所述数据流发送给所述订阅消息系统；

所述订阅消息系统，用于从外部的至少一个数据源中抽取至少一个数据流，并将所述至少一个数据流发送给所述处理模块；

所述订阅消息系统，用于根据预先设置的订阅模式，将格式转换后的各个所述数据流分别输出给对应的数据输出向。

2.根据权利要求1所述的流式运算系统，其特征在于，

所述订阅消息系统包括：Kafka；

和/或，

所述流式数据处理系统包括：Storm Trident。

3.一种流式运算方法，其特征在于，包括：

将订阅消息系统与流式数据处理系统进行封装，生成数据转换工具；

还包括：

从外部的至少一个数据源中抽取至少一个数据流；

利用所述数据转换工具对所述至少一个数据流的格式进行标准化处理；

对标准化处理后的所述至少一个数据流进行业务处理；

在所述对标准化处理后的所述至少一个数据流进行业务处理之后，进一步包括：

根据外部输入的调用指令，确定每一个所述数据流对应的数据输出向；

根据所述数据输出向对应的数据格式，分别对各个所述数据流进行格式转换；

根据预先设置的订阅模式，将格式转换后的各个所述数据流分别输出给对应的数据输出向；

所述对标准化处理后的所述至少一个数据流进行业务处理，包括：

循环执行以下步骤，直至各个数据流均被处理：

A1：从未处理的各个数据流中选择当前数据流，并为所述当前数据流设置已处理标签；

A2：对所述当前数据流进行业务处理；

A3：当在业务处理过程中出现数据异常时，确定所述数据异常出现的次数是否大于预设阈值，如果大于预设阈值，将当前数据流标记为异常数据流；如果小于预设阈值，删除所述已处理标签，删除所述已处理标签，并执行A1。

4.一种可读介质，包括执行指令，当存储控制器的处理器执行所述执行指令时，所述存储控制器执行上述权利要求3所述的方法。

5.一种存储控制器，包括：处理器、存储器和总线；所述存储器用于存储执行指令，所述处理器与所述存储器通过所述总线连接，当所述存储控制器运行时，所述处理器执行所述存储器存储的所述执行指令，以使所述存储控制器执行上述权利要求3所述的方法。