[发明专利]一种基于业务关联的数据采集方法及系统

说明书

技术领域

本发明涉及IT技术领域，特别涉及一种基于业务关联的数据采集方法及系统。

背景技术

随着网络管理技术的发展，其管理范畴，除传统通信、计算和存储等网元的管理以外，还包括设备上承载业务的管理。在网络管理系统中，业务分析是业务管理的主要功能之一，业务分析的数据来源于网络管理系统对各设备或系统数据的采集，而现在的业务分析越来越复杂。传统的网络管理系统数据采集方法对所有的数据进行轮询采集，同一业务分析所需要的数据采集时间跨度会比较大，使数据分析不能及时处理，导致数据分析实时性差；而且，先采集的数据还可能会失效，导致业务分析结果与实际有偏差。随着网络管理系统的发展，需要新的采集方法来满足更复杂的业务分析需求。

中国第200410034524号专利公开了一种网络管理中配置数据的采集系统及其方法，在这种方法中，通过根据不同的网元配置不同的采集和设置不同的刷新模板和模板解析器，以解决网元信息采集的扩展性。中国第200910173983号专利公开了简单网络管理协议设备的数据并行采集归并方法及系统，此系统包括并行控制实体和一个或多个并行采集实体，并行控制实体完成对并行采集实体的管理与对各并行采集实体返回的性能数据进行统一归并处理，并行采集实体以并行方式从各采集点上采集数据，以提升了采集效率以及系统的可用性。中国第200810117931号专利公开了一种数据采集方法及数据采集设备，所述方法将所有被采集的网元的信息封装成采集任务放入一个任务队列中，并启动网元采集线程池，通过线程池的监听端口采集所述任务队列中每个网元的数据，以提高数据采集的效率。

通过对现有技术和专利分析，现有公开的技术以提高网络管理数据采集的效率、可扩展性为目标，但是，所公开的方法都未涉及到数据采集与业务关联或基于业务的采集方法，这将导致网络管理业务数据分析的时效性和准确性较差，且不能为更复杂的网络管理业务分析提供数据支撑。因此，本专利将公开一种基于业务的数据采集方法及系统，本发明的技术方案可以提高网络管理业务数据分析的时效性和准确性，为更复杂的网络管理业务分析提供数据支撑。

发明内容

本发明的目的在于，为克服现有技术以提高网络管理数据采集的效率、可扩展性为目标，却均未涉及到数据采集与业务关联或基于业务的采集方法，从而导致网络管理业务数据分析的时效性和准确性较差，且不能为更复杂的网络管理业务分析提供数据支撑的问题，从而提供一种基于业务关联的数据采集方法及系统。

本发明要解决的技术问题是：在减少数据采集的次数的前提下，提高网络管理业务数据分析的实时性与准确性，以下技术方案中用DS队列表示采集过程队列。

为解决上述技术问题，本发明提出一种基于业务关联的数据采集方法，该方法将数据采集过程与业务相关联用于为更复杂的网络管理业务分析提供数据支撑，所述方法为：

步骤1，用于生成数据项队列的步骤，该步骤将属于同一业务的多个待采集的数据项连续放置，属于不同业务的共有的待采集数据项放置在两种业务分别对应的数据项之间；

步骤2，用于采用若干组线程启动数据采集过程顺序调度数据项队列放置的各项，完成业务关联的数据采集的步骤。

其中，所述数据项为被采集的最小独立单元。

上述技术方案中，所述步骤1进一步包含如下步骤：

步骤1-1，将每个数据采集业务分别对应一个采集过程，且将采集周期相同的多个采集过程划分在同一DS队列；

步骤1-2，将每个DS队列包含的多个采集过程依据采集过程间的数据项共有关系进行采集过程排序；

步骤1-3，将每个采集过程依据该采集过程与相近采集过程间的数据项共有关系进行该采集过程内数据项排序。

其中，所述每个DS队列分别对应一个采集线程组。

可选的，所述采集过程均采用如下四元组描述：

DS＝(S，T，Td，D)；

其中，S代表业务；T代表数据采集周期；Td代表能接受的数据采集时间延迟，且T≥Td；D代表业务包含的数据项集合，D不能为空，即，一个业务所关联的数据项不能为空，D中不同业务共有的数据项的属性标记为“被复用”。

基于上述四元组描述，所述步骤1-1判断采集过程对应的四元组中的T是否相同，如果相同将两个业务对应的采集过程划分在同一DS队列中；