[发明专利]一种流式运算系统、方法、可读介质和存储控制器

说明书

本发明提供了一种流式运算框架、方法、可读介质和存储控制器，该流式运算框架包括：订阅消息系统、流式数据处理系统和处理模块；其中，所述处理模块，用于将所述订阅消息系统与所述流式数据处理系统进行封装，生成数据转换工具；当接收到所述订阅消息系统发送的至少一个数据流时，利用所述数据转换工具对所述至少一个数据流的格式进行标准化处理，并将标准化处理后的所述至少一个数据流发送给所述流式数据处理系统；所述订阅消息系统，用于从外部的至少一个数据源中抽取至少一个数据流，并将所述至少一个数据流发送给所述处理模块；所述流式数据处理系统，用于对标准化处理后的所述至少一个数据流进行业务处理。本方案能提高数据处理效率。

技术领域

本发明涉及计算机技术领域，特别涉及一种流式运算系统、方法、可读介质和存储控制器。

背景技术

Trident是基于Storm进行实时流处理的高级抽象，提供了对实时流的聚集、投影和过滤等功能，从而大大减少了开发Storm程序的工作量。随着大数据技术的飞速发展，Trident可用于处理不同数据源的数据流。

Trident在处理不同数据源的数据流时，根据不同数据流的数据来源，确定不同的数据格式，并进一步根据不同的数据格式，开发不同的数据流处理流程，然后利用对应的处理流程对不同数据源的数据流进行处理。

在此过程中，由于Trident在处理数据流时，需确定不同数据源的数据流的数据格式，并根据数据格式开发对应的处理流程，导致数据处理效率较低。

发明内容

本发明实施例提供了一种流式运算系统、方法、可读介质和存储控制器，能提高数据处理效率。

第一方面，本发明实施例提供了一种流式运算系统，包括：订阅消息系统、流式数据处理系统和处理模块；其中，

所述处理模块，用于将所述订阅消息系统与所述流式数据处理系统进行封装，生成数据转换工具；当接收到所述订阅消息系统发送的至少一个数据流时，利用所述数据转换工具对所述至少一个数据流的格式进行标准化处理，并将标准化处理后的所述至少一个数据流发送给所述流式数据处理系统；

所述订阅消息系统，用于从外部的至少一个数据源中抽取至少一个数据流，并将所述至少一个数据流发送给所述处理模块；

所述流式数据处理系统，用于对标准化处理后的所述至少一个数据流进行业务处理。

优选地，

所述流式数据处理系统，进一步用于将业务处理后的所述至少一个数据流发送给所述处理模块；

所述处理模块，进一步用于根据外部输入的调用指令，确定每一个所述数据流对应的数据输出向；根据所述数据输出向对应的数据格式，分别对各个所述数据流进行格式转换，并将转换后的所述数据流发送给所述订阅消息系统；

所述订阅消息系统，用于根据预先设置的订阅模式，将格式转换后的各个所述数据流分别输出给对应的数据输出向。

优选地，

所述流式数据处理系统，用于从各个所述数据流中选择当前数据流，为所述当前数据流设置已处理标签；对所述当前数据流进行业务处理，当在所述业务处理过程中出现数据异常时，确定所述数据异常出现的次数是否大于预设阈值，如果是，将所述当前数据流标记为异常数据流；否则，删除所述已处理标签，并从未处理的各个数据流中选择出当前数据流，直至各个所述数据流均被处理。

优选地，

所述订阅消息系统包括：Kafka；

优选地，

所述流式数据处理系统包括：Storm Trident。

第二方面，本发明实施例提供了一种流式运算方法，包括：