[发明专利]一种基于以太网的数据采集、处理与转发控制系统和方法

说明书

技术领域

本发明用于数据网领域，涉及一种基于以太网的数据采集、处理与转发控制系统和方法，能实时采集、存储、处理和转发分散于多条数据链路上的数据，在数据业务处理领域具有广阔的应用前景。

背景技术

由以太网数据链路连接的若干业务节点所组成的数据网如图1所示，为了监测分析数据链路传递的数据信息，如图2所示，一般采用以太网链路数据采集设备TAP串接于需进行数据采集的链路中，实现数据的复制、汇聚功能，由采集服务器实现数据的存储、分析功能。由于数据链路要求TAP实时完成数据的传递，这种方式TAP不具备对数据的处理能力，采集服务器也不具备控制TAP串接的数据链路中数据处理的能力。

对于如何采用商用服务器控制接入处理机实现对以太网数据的高效采集、处理与转发的具体系统和方法一直为本申请人研究的内容之一。

发明内容

为了解决对以太网数据高效采集、处理与转发难题，本发明系统由接入以太网的若干台接入处理机(Access Processing Machine-APM)和配置了专用网卡的控制服务器(Control Server-CS)构成。本发明突破了一般数据采集设备只能采集数据的局限，能充分发挥服务器的处理能力，实时采集、存储、处理和转发分散于多条数据链路上的数据，实现深度数据包分析DPI与处理功能。

实现上述目的的技术方案是：

一种基于以太网的数据采集、处理与转发控制系统，它基于由以太网数据链路连接的若干业务节点所组成的数据网，该系统包括至少一台串接于数据链路的接入处理机和至少一台配置了专用网卡的控制服务器构成；各接入处理机和各控制服务器由专用数据链路连接，其中：

接入处理机，提供至少一对以太网接口串接于数据链路中，具有缓存、标记、去标记、传递以太网数据包的功能，对于串接一对以上以太网接口时，接入处理机具有汇聚和分发以太网数据包的功能；接入处理机与控制服务器的专用网卡相连并双向传送数据，根据控制服务器的指令，接入处理机实现自动实时数据传递和受控实时数据传递功能；

控制服务器与各接入处理机相连，控制服务器专用网卡根据数据包的标记缓存接收的数据包，服务器可直接存取数据包；控制服务器通过修改数据包的标记控制数据包的转发，亦可直接修改数据包的内容；控制服务器还可以选择设定专用网卡的功能实现全自动的数据包转发。

上述的的基于以太网的数据采集、处理与转发控制系统，其特征在于：当实现的业务为数据链路监控时，接入处理机串接于需进行数据监控的数据链路中，被串接的一对端口收、发的数据包被设置为互为对等的关系，控制服务器只需要处理需要修改的部分即可实现两个端口的互通。

上述的基于以太网的数据采集、处理与转发控制系统，其特征在于：当实现的业务为数据链路数据信息采集时，接入处理机串接于需进行数据采集的数据链路中，控制服务器可以作为数据采集分析服务器接收由接入处理机采集的数据副本。

上述的基于以太网的数据采集、处理与转发控制系统，当接入处理机检测到失去与控制服务器连接时，接入处理机具有独立实现所串接链路的双向数据传递功能。

上述的基于以太网的数据采集、处理与转发控制系统，其中，所述的接入处理机、专用网卡都是逻辑实体，二者是相互独立的物理实体、或集成为一体的物理实体；控制服务器采用商用服务器。

一种基于以太网的数据采集、处理与转发控制方法，包括下列步骤：

首先在以太网链路中串接接入处理机，将接入处理机与控制服务器的专用以太网网卡接口连接，对所述串接接入处理机链路的数据传递采取下列行动：

1)接入处理机对接收的数据包进行标记，带有标记的数据包传送至专用网卡；所述的专用网卡缓存接收到的数据包至专用缓冲存储器；

2)控制服务器对专用缓冲存储器中的数据包进行分析处理，包括但不限于下列情况：

若需进行数据包内容的修改，则进行数据内容修改；

若需删除某个数据包，则发送控制指令给专用网卡；

若需插入数据包，则将需插入的数据包写入专用网卡的缓冲存储器；

若需采集数据包，则由控制服务器复制专用网卡缓冲存储器的数据包；

3)所述的专用网卡把控制服务器处理过的存放在专用缓冲存储器的数据包发送给接入处理机，接入处理机根据数据包的标记，去标记后完成数据的传递。

上述的基于以太网的数据采集、处理与转发控制方法，其中，所述的接入处理机检测到与控制服务器失去连接时，接入处理机独立实现所串接链路的双向数据传递

附图说明

图1是以太网示意图；