[发明专利]数据处理方法、装置和系统

说明书

技术领域

本发明实施例涉及数据处理技术领域，尤其涉及一种数据处理方法、装置和系统。

背景技术

在现有的数据处理中，通常需要将分散的数据进行汇聚，汇聚到统一的计算节点进行处理，根据各计算节点处理的数据类型的不同，可以设置多个计算节点。

现有技术在具体的实施过程中，需要将各种类型的数据进行汇聚，完成上述数据汇聚功能的数据汇聚装置被称为业务通道汇聚框，即IO框，该IO框起数据汇聚作用。IO框从不同通道接收不同数据并转发给计算节点，计算节点需要消耗大量的资源进行数据处理，这会严重影响各计算节点的性能。

发明内容

本发明实施例提供一种数据处理方法、装置和系统，实现对数据进行预处理，分担计算节点的处理压力，有效防止计算节点的数据的拥塞。

本发明实施例提供一种数据处理方法，包括：

数据处理装置接收数据中心发送的第一数据上报报文，所述第一数据上报报文中携带发送给计算节点的数据；

所述数据处理装置从所述第一数据上报报文中获取所述数据，对所述数据进行预处理；

所述数据处理装置将预处理后的数据发送给所述计算节点。

本发明实施例还提供一种数据处理装置，包括：

第一接收模块，用于接收数据中心发送的第一数据上报报文，所述第一数据上报报文中携带发送给计算节点的数据；

预处理模块，用于从所述第一数据上报报文中获取所述数据，并对所述数据进行预处理；

第一发送模块，用于将预处理后的数据发送给所述计算节点

本发明实施例还提供一种数据处理系统，包括：上述数据处理装置以及计算节点，计算节点用于接收所述数据处理装置发送的第二数据上报报文，对所述第二数据上报报文进行处理。

本发明实施例提供的数据处理方法、装置和系统，通过对数据中心发送的数据进行预处理，分担了计算节点的处理压力，能够有效防止在计算节点发生数据拥塞。

附图说明

图1为本发明实施例一的数据处理方法的流程示意图；

图2为本发明实施例二的数据处理方法的流程示意图；

图3为本发明实施例三的数据处理方法的流程示意图；

图4为本发明实施例一的数据处理装置的结构示意图；

图5位本发明实施例二的数据处理装置的结构示意图；

图6为本发明数据处理系统实施例的结构示意图。

具体实施方式

图1为本发明实施例一的数据处理方法的流程示意图。如图1所示，该数据处理方法包括：

步骤S101：数据处理装置接收数据中心发送的第一数据上报报文，第一数据上报报文中携带发送给计算节点的数据。

其中，数据中心例如是：服务器集群、数据采集系统的计算节点群等。数据汇聚装置，如IO框，将数据中心发送的数据报文进行汇聚，数据处理装置接收来自数据中心发送的经汇聚的数据报文，即第一数据上报报文，该第一数据上报报文携带有需要发给计算节点的数据。计算节点用于接收预处理后的数据，并经过内部基本数据处理操作，得到结果数据。在下面各实施例中使用的数据中心的含义与这里使用的含义相同，不再赘述。

步骤S102：数据处理装置从第一数据上报报文中获取数据，对该数据进行预处理。

数据处理装置从第一数据上报报文中获取需要发送给计算节点的数据，并对该数据进行数据清理、数据集成、数据变换、数据规约等，即对数据进行预处理。

步骤S103：数据处理装置将预处理后的数据发送给计算节点。

将预处理后的数据发送给计算节点，由计算节点中的CPU对预处理后的数据进行处理。

本发明实施例中，数据汇聚装置，如IO框，与数据处理装置可以集成为一体，即数据处理装置进行数据报文汇聚的同时具有数据预处理功能，数据处理装置也可以如本实施例中所示，为独立装置。无论哪种实现方式，只是形式上的差异，并不会导致本发明方案的实质性变化。

本实施例提供的数据处理方法，分担了计算节点的处理压力，能够起到有效防止在计算节点数据拥塞的作用。

图2为本发明实施例二的数据处理方法的流程示意图。如图2所示，该数据处理的步骤包括：

S201：从数据处理装置的第一物理接口接收数据中心发送的第一数据上报报文，该第一物理接口与所述第一数据上报报文的协议类型对应，用于传输第一数据上报报文。