[发明专利]一种融合多渠道数据链式处理的系统

说明书

本发明涉及数据处理技术领域，具体地说，涉及一种融合多渠道数据链式处理的系统。其包括统一接收单元、责任链处理单元、数据链处理单元和业务链存储单元，统一接收单元用于提供统一链式处理入口，统一接收输入端的数据。本发明通过责任链处理单元根据业务本身的复杂度将接收数据拆分成多个数据块，有利于后续数据的处理更轻松，避免接收数据的处理占用内存大于处理内存限制值造成处理运行过载，提高系统的稳定性，且通过数据链处理单元依次接收数据块，使数据块依次进入多个处理链路进行处理，若在其中一个处理链路中进行修改维护时，只需要修改当前链路对应的开发代码即可，操作方便，减轻了修改难度，提高实用性。

技术领域

本发明涉及数据处理技术领域，具体地说，涉及一种融合多渠道数据链式处理的系统。

背景技术

链式处理也叫做流式处理，经常在流式计算或者类似的场景当中出现。链式处理模式避免请求发送者与接收者耦合在一起，让多个对象都有可能接收请求，将这些对象连接成一条链，并且沿着这条链传递请求，直到有对象处理它为止；

通常的链式处理都是针对某一类别的业务数据进行处理，在该模式下，链路中的每一个对象需要判断请求者提交的业务数据是否应由当前对象进行处理，是则由当前对象进行数据处理，否则将业务数据交予本条链路中下一个对象；

而在实际项目中，一个系统内包含多种类别的业务数据处理，每个类别开发一套相应的链式处理会带来工作量的重复且难以统一管控，对于需要多次校验、清洗、加工、融合的业务会造成开发代码的逻辑及其复杂化，并在发生业务变更时修改维护的难度倍增，并且业务数据集中涌入系统中，增大了运行强度，易导致运行过载造成数据丢失，鉴于此，我们提出一种融合多渠道数据链式处理的系统。

发明内容

本发明的目的在于提供一种融合多渠道数据链式处理的系统，以解决上述背景技术中提出的问题。

为实现上述目的，本发明提供一种融合多渠道数据链式处理的系统，包括统一接收单元、责任链处理单元、数据链处理单元和业务链存储单元；

所述统一接收单元用于提供统一链式处理入口，统一接收输入端的数据；

所述责任链处理单元用于根据业务本身的复杂度将统一接收单元接收的数据拆分成多个数据块；

所述数据链处理单元用于依次接收所述责任链处理单元的多个数据块，使数据块依次进入多个处理链路进行处理，处理链路包括数据校验链路、数据清洗链路、数据加工链路和数据融合链路；

所述业务链存储单元用于存储所述数据链处理单元处理后的数据块，将处理结果交予业务链，业务链继续向下执行，直到结束后返回给请求者处理的相关信息。

本发明在具体使用时，多分路的数据通过统一接收单元的业务数据统一处理入口进入处理后输出为业务甲，然后对业务甲通过责任链处理单元进行责任链处理，使业务甲按照流程顺序拆分为多个小型数据，然后依次通过数据链处理单元依次对数据块进行数据校验1-N处理、数据清洗1-N处理、数据加工1-N处理和数据处理1-N处理，然后处理后的数据块输出为业务乙，最后通过业务链存储单元进行存储。

作为本技术方案的进一步改进，所述统一接收单元采用网关对请求分发路进行协调统一，经过多个过滤器处理请求，包括前置过滤器、路由过滤器、后置过滤器和错误过滤器。

作为本技术方案的进一步改进，所述责任链处理单元包括复杂度检测模块和数据分割模块；

所述复杂度检测模块用于计算接收数据的处理占用内存；

所述数据分割模块用于接收复杂度检测模块的结果，将数据分割成数据块处理占用内存小于处理内存限制值的多个数据块。