[发明专利]一种数据采集系统、方法、设备及存储介质

说明书

本申请实施例提供了一种数据采集系统、方法、设备及存储介质，其中，该系统包括：数据采集加工模块；所述数据采集加工模块包括数据采集层、原始事件流、数据加工层和标准化事件流；所述数据采集层包括协议适配模块和路由模块；所述协议适配模块，被设置为适配各个不同的网元设备，并从所述网元设备获取数据；所述路由模块，被设置为将所述数据路由到原始事件流中的指定主题；所述数据加工层，被设置为从所述原始事件流中的指定主题中读取数据，并将读取的数据通过事件模型转换为标准化事件，并将所述标准化事件发布到标准化事件流中的指定主题。

技术领域

本申请涉及通信技术领域，尤其涉及一种数据采集系统、方法、设备及存储介质。

背景技术

网管系统，主要管理实际通讯网络中的网元设备，组建通讯网络的网元设备可能是由多个制造商制造，并且网元设备即使由同一商家制造时，也会采用不同的通讯平台或者接口和消息实现网管系统与网元设备之间的数据采集。网元设备的各个业务模块标准虽然已经有了业务模型，但是不同设备制造商在制造网元设备时，再采用业务标准的情况下，会针对其生产的设备做一定的差异性处理。

因此网元设备在接入网管系统时，需要将各个不同制造商、不同种类、不同软件平台的业务数据进行一系列的数据下发接口和数据采集接口的适配才能正常的让网管系统实际管理和获取网元设备的信息。

发明内容

本申请实施例提供了一种数据采集系统、方法、设备及存储介质，开发周期快，可以降低研发成本。

本申请实施例提供了一种数据采集系统，包括：数据采集加工模块；

所述数据采集加工模块包括数据采集层、原始事件流、数据加工层和标准化事件流；

所述数据采集层包括协议适配模块和路由模块；

所述协议适配模块，被设置为适配各个不同的网元设备，并从所述网元设备获取数据；

所述路由模块，被设置为将所述数据路由到原始事件流中的指定主题；

所述数据加工层，被设置为从所述原始事件流中的指定主题中读取数据，并将读取的数据通过事件模型转换为标准化事件，并将所述标准化事件发布到标准化事件流中的指定主题。

本申请实施例提供了一种数据采集方法，包括：

通过协议适配模块适配各个不同的网元设备，并从所述网元设备中获取数据；

通过路由模块将所述数据路由到原始事件流中的指定主题；

通过数据加工层将从所述原始事件流中的指定主题读取数据，并将读取的数据通过事件模型转换为标准化事件，并将所述标准化事件发布到标准化事件流中的指定主题。

本申请实施例提供了一种数据采集的设备，所述设备包括存储器、处理器、存储在所述存储器上并可在所述处理器上运行的程序以及用于实现所述处理器和所述存储器之间的连接通信的数据总线，所述程序被所述处理器执行时实现本申请实施例提供的方法。

本申请实施例提供了一种存储介质，用于计算机可读存储，所述存储介质存储有一个或者多个程序，所述一个或者多个程序可被一个或者多个处理器执行，以实现本申请实施例提供的方法。

本申请实施例提供的技术方案，通过协议适配模块适配各个不同的网元设备，并从网元设备获取数据，通过路由模块，将所述数据路由到原始事件流中的指定主题，通过数据加工层从原始事件流中的指定主题中读取数据，并将读取的数据通过事件模型转换为标准化事件，并将标准化事件发布到标准化事件流中的指定主题，可以适配各个不同的网元设备，当网元设备增加时，通过协议适配模块进行适配，在网元设备上报的数据类型为新增数据类型，通过事件模型可以将数据转换为标准化事件，适应于上层分析系统，开发周期快，可以降低研发成本。

附图说明