[发明专利]一种基于网络的业务数据采集交付系统及方法

说明书

本发明公开了一种基于网络的业务数据采集交付系统及方法，其他交付系统包括：采集子系统，所述采集子系统用于采集原始网络经筛选之后的业务数据，并提交给处理子系统；处理子系统，所述处理子系统负责解析网络协议后提取业务数据，并将业务数据组织成业务记录，并发存贮；以及业务记录数据中心，所述业务记录数据中心存贮上述业务记录；所述采集子系统对业务数据形成至少两次筛选，第一次筛选后将需要的业务数据复制输出到独立于生产业务系统外的监控系统，第二次筛选后将业务数据构建成数据文件或者端口数据流方式提交给处理子系统。具有独立于业务系统、不增加业务系统复杂性，且具备优异的可复制、可扩展能力的特点。

技术领域

本发明涉及数据采集交付的方法及系统，尤其是涉及一种基于网络的业务数据采集交付系统及方法。

背景技术

随着网络技术的发展。越来越多的企业级采用B/S架构，或者C/S架构，或者企业服务总线架构等基于网络的业务系统和支撑系统，而基于互联网网络的系统和服务也越来越多，越来越成为主流。因此，网络分析和监控，例如网络流量分析，网络性能分析，网络故障告警，网络故障排查，业务系统流水二次分析，业务系统性能监测与分析等，有着越来越多的需求。

如果分析并监控日益复杂的生产业务系统是一个非常但又非常重要的问题，特别是对于企业的运维，有着非常重要的实际意义。

而目前对生产上的业务系统监控主要采用业务系统运行过程中产生的日志进行数据采集分析监测，或通过软件的代码的方式在业务系统中增加额外的代码来采集数据进行分析监测。这些方法带来以下几个问题（1）增加了业务系统的复杂性，引入了新的潜在故障点，影响业务系统运行性能（2）增加维护成本，随着业务系统的扩展与调整，相应的数据采集接口同样需要开发接入，造成大量的人力费用支出。

发明内容

本发明的目的就是为了克服上述现有技术存在的缺陷而提供一种独立于业务系统、不增加业务系统复杂性，且具备优异的可复制、可扩展能力的基于网络的业务数据采集交付方法及系统。

为达到上述目的，本发明的技术方案如下：

一种基于网络的业务数据采集交付系统，包括：

采集子系统，所述采集子系统用于采集原始网络经筛选之后的业务数据，并提交给处理子系统；

处理子系统，所述处理子系统负责解析网络协议后提取业务数据，并将业务数据组织成业务记录，并发存贮；

以及业务记录数据中心，所述业务记录数据中心存贮上述业务记录；

所述采集子系统对业务数据形成至少两次筛选，第一次筛选后将需要的业务数据复制输出到独立于生产业务系统外的监控系统，第二次筛选后将业务数据构建成数据文件或者端口数据流方式提交给处理子系统。

在本发明的一个优选实施例中，所述采集子系统包括数据采集模块和数据采集器，所述数据采集模块用于第一次筛选；所述数据采集器用于第二次筛选。

在本发明的一个优选实施例中，所述处理子系统包括协议处理网关，对所述协议处理网关配置以对业务数据进行分割、转译、合并和屏蔽，并组织成业务记录

在本发明的一个优选实施例中，用户对协议处理网关配置以控制协议分析的深度、详细程度和业务记录的格式。

在本发明的一个优选实施例中，所述协议处理网关还包括外接接口，接受其它数据源的数据，并转换成相应的底层业务记录。

一种基于网络的业务数据采集交付方法，包括以下步骤：

1)数据采集模块采集生产业务系统中产生的新的业务数据包，并根据配置判断是否满足复制要求，如果判断为是则将业务数据包复制到数据采集器，并执行步骤2)，否则重新采集生产业务系统中产生的新的业务数据包；