[发明专利]数据采集方法及装置

说明书

本发明提供一种数据采集方法及装置，涉及人工智能技术领域，数据采集方法包括：将预设的采集脚本批量部署到至少两个目标设备；其中，所述采集脚本包含识别目标设备的属性信息的语句；根据所述采集脚本采集目标设备的数据和识别目标设备的属性信息；通过分布式传输的方式接收采集的数据和识别的属性信息。本发明通过批量部署脚本至多个目标设备，提高采集脚本的部署效率；通过识别目标设备的属性信息，有效解析数据来源后可有效定位采集的数据来源；通过分布式传输的方式传输数据可提高数据的传输效率。

技术领域

本发明涉及人工智能技术领域，特别涉及运维技术领域，具体涉及一种数据采集方法及装置。

背景技术

近年来，随着人工智能的高速发展，智能化运维逐渐在运维领域崭露头角，而数据采集为智能运维的基础。在IT运维领域，待分析的数据大多来自各IT设备，传统的采集IT运维数据的方式为分别在各IT设备上部署采集脚本，将采集结果输出至数据库等。脚本一般来说编辑简单，修改方便，不需编译即可执行，简化了采集数据的步骤。

但是，部署采集脚本的过程繁琐，若采集脚本发生更新还需重新部署。会导致基于采集脚本的数据采集过程繁琐和效率低的问题。

发明内容

针对现有技术中的问题，本发明提供一种数据采集方法及装置，能够有效提高数据采集的效率。

为解决上述技术问题，本发明提供以下技术方案：

第一方面，本发明提供一种数据采集方法，包括：

将预设的采集脚本批量部署到至少两个目标设备；其中，所述采集脚本包含识别目标设备的属性信息的语句；

根据所述采集脚本采集目标设备的数据和识别目标设备的属性信息；

通过分布式传输的方式接收采集的数据和识别的属性信息。

进一步地，在通过分布式传输的方式接收采集的数据和识别的属性信息之后，还包括：

对采集的数据进行预处理并对预处理后的数据进行存储；

其中，预处理包括：数据的筛选、数据的分类和数据的格式转化中至少一种。

其中，采用服务器端数据处理管道对采集的数据进行筛选、分类和格式转化。

其中，所述将预设的采集脚本批量部署到至少两个目标设备，包括：

将所有目标设备的地址添加至预设群组；

利用自动化运维工具将采集脚本分发至所有目标设备。

其中，所述属性信息为目标设备的名称、目标设备的编号和目标设备的网络地址中至少一种。

其中，每个所述采集脚本均包含采集数据类脚本、采集日志类脚本和采集指标类脚本中至少一种。

第二方面，本发明提供一种数据采集装置，包括：

批量部署单元，用于将预设的采集脚本批量部署到至少两个目标设备；其中，所述采集脚本包含识别目标设备的属性信息的语句；

采集单元，用于根据所述采集脚本采集目标设备的数据和识别目标设备的属性信息；

回传单元，用于通过分布式传输的方式接收采集的数据和识别的属性信息。

进一步地，还包括：

处理单元，用于对采集的数据进行预处理并对预处理后的数据进行存储；

其中，预处理包括：数据的筛选、数据的分类和数据的格式转化中至少一种。

其中，所述处理单元采用服务器端数据处理管道对采集的数据进行筛选、分类和格式转化。