[发明专利]数据处理方法、数据处理平台和计算机可读存储介质

说明书

本发明实施例提供数据处理方法、数据处理平台和计算机可读存储介质。根据本发明实施例的数据处理方法包括：在数据处理过程中，获取与至少一种数据或至少一种传输协议相对应的数据处理引擎模块；基于所述数据处理引擎模块对所述数据处理平台中的一个或多个节点的功能进行动态配置，以使所述一个或多个节点基于相应的数据或传输协议执行所配置的功能。

技术领域

本申请涉及计算机数据处理领域，尤其涉及一种数据处理方法、数据处理平台和计算机可读存储介质。

背景技术

数据处理平台可以用于对大量数量进行采集、分析、转发、存储等各种相关处理。随着计算机应用的不断扩展，数据处理平台也得到了越来越广泛的应用。

一般来说，在构建完毕数据处理平台之后，其架构和各组件所执行的功能均已经固定。如果在后续数据处理过程中，希望引入新的格式的数据或新的传输协议时，则需要对该数据处理平台进行有针对性的进一步的定制开发和功能部署，并且需要暂停数据处理平台的运行以进行更新，从而导致了数据处理平台的数据处理效率降低、耗时过长。此外，固定架构的数据处理平台也无法对各个用于数据处理的节点进行动态分配和功能调整，无法实现节点的高可用管理。

发明内容

为解决上述技术问题，根据本发明的一个方面，提供了一种数据处理方法，应用于数据处理平台，包括：在数据处理过程中，获取与至少一种数据或至少一种传输协议相对应的数据处理引擎模块；基于所述数据处理引擎模块对所述数据处理平台中的一个或多个节点的功能进行动态配置，以使所述一个或多个节点基于相应的数据或传输协议执行所配置的功能。

可选地，所述至少一种数据包括：文本数据、图片数据、音频数据、视频数据、XML格式数据中的至少一种；所述至少一种传输协议包括：TCP、UDP、HTTP、FTP、WebService、MQ、串口传输协议中的至少一种。

可选地，在数据处理过程中，获取与至少一种数据或至少一种传输协议相对应的数据处理引擎模块之前还包括：根据预估参数构建所述数据处理平台；利用构建的数据处理平台进行数据处理。

可选地，所述与至少一种数据或至少一种传输协议相对应的数据处理引擎模块为通过API接口模板开发的数据处理引擎模块。

可选地，基于所述数据处理引擎模块对所述数据处理平台中的一个或多个节点的功能进行动态配置，以使所述一个或多个节点基于相应的数据或传输协议执行所配置的功能包括：将所述数据处理引擎模块传输至与所述数据处理平台连接的所述一个或多个节点，以使所述一个或多个节点基于相应的数据或传输协议执行所配置的功能。

可选地，基于所述数据处理引擎模块对所述数据处理平台中的一个或多个节点的功能进行动态配置，以使所述一个或多个节点基于相应的数据或传输协议执行所配置的功能包括：基于所述数据处理引擎模块将所述一个或多个节点分别配置为数据采集节点和数据转发节点，其中所述数据采集节点基于相应的数据或传输协议执行数据采集功能，所述数据转发节点基于相应的数据或传输协议执行数据转发功能。

可选地，基于所述数据处理引擎模块将所述一个或多个节点分别配置为数据采集节点和数据转发节点包括：将所述数据采集节点配置为实时监控所述数据采集功能执行的状态、采集的数据量、执行时长以及控制所述数据采集功能的开始和结束。

可选地，基于所述数据处理引擎模块将所述一个或多个节点分别配置为数据采集节点和数据转发节点包括：将所述数据转发节点配置为通过Kafka接收所述数据采集节点所获取的数据，并将所接收的数据转发至第三方应用。

可选地，基于所述数据处理引擎模块将所述一个或多个节点分别配置为数据采集节点和数据转发节点包括：将所述数据转发节点配置为基于规则引擎加载的规则库中的相应的规则，对要转发的数据进行处理，并将处理后的数据转发至第三方应用。