[发明专利]一种配置信息采集处理方法及装置

说明书

本发明提供一种配置信息采集处理方法及装置，涉及数据技术领域，可用于金融领域或其他技术领域。所述方法包括：在所述数据配置节点中对待发送至所述数据采集节点的预设次数的配置信息进行比对，根据比对结果去除重复数据；在所述数据采集节点中对去除重复数据后的配置信息进行采集；在所述数据解析节点中对所述数据采集节点采集到的配置信息进行数据解析；在所述配置管理系统中根据所述数据解析节点解析完成的配置信息，对本地存储的配置信息进行更新处理。所述装置执行上述方法。本发明实施例提供的配置信息采集处理方法及装置，通过对去除重复数据后的配置信息进行采集，减少后续数据处理量，保证数据更新时效的有效性。

技术领域

本发明涉及数据技术领域，具体涉及一种配置信息采集处理方法及装置。

背景技术

在企业的私有云环境中，需要对信息进行采集，以方便后续使用。在数据体量不大的时候，还可以通过人工登记或者变更流程的方式进行管控，当数据规模提升到一定数量之后，就需要信息化的手段，及时进行有关信息的采集和更新。

在现有技术中，各类配置管理平台一般都能提供基础的信息采集和管理功能，可以进行一定程度上的手工维护和自动采集更新。但是，系统中的配置信息的数据量远远大于基础的信息数量，因此，更新时效往往不能满足实际需求。

发明内容

针对现有技术中的问题，本发明实施例提供一种配置信息采集处理方法及装置，能够至少部分地解决现有技术中存在的问题。

一方面，本发明提出一种配置信息采集处理方法，所述配置信息采集处理方法在系统中执行；

所述系统包括数据配置节点、数据采集节点、数据解析节点和配置管理系统；

所述配置信息采集处理方法包括：

在所述数据配置节点中对待发送至所述数据采集节点的预设次数的配置信息进行比对，根据比对结果去除重复数据；

在所述数据采集节点中对去除重复数据后的配置信息进行采集；

在所述数据解析节点中对所述数据采集节点采集到的配置信息进行数据解析；

在所述配置管理系统中根据所述数据解析节点解析完成的配置信息，对本地存储的配置信息进行更新处理。

其中，所述在所述数据采集节点中对去除重复数据后的配置信息进行采集，包括：

在所述数据配置节点中通过执行采集脚本将去除重复数据后的配置信息上送至所述数据采集节点，以实现在所述数据采集节点中对去除重复数据后的配置信息进行采集。

其中，所述配置信息采集处理方法还包括：

在所述配置管理系统中的脚本库设置新增采集数据项的新增采集脚本，并将所述新增采集脚本下发至各所述数据配置节点中。

其中，在所述配置管理系统中根据所述数据解析节点解析完成的配置信息，对本地存储的配置信息进行更新处理的步骤之前，所述配置信息采集处理方法还包括：

发送解析完成的配置信息至用户终端，若检测到用户针对所述解析完成的配置信息的确认动作，则执行对本地存储的配置信息进行更新处理的步骤。

其中，所述配置信息采集处理方法还包括：

在所述数据配置节点中将所述配置信息的输出格式转换为键值对。

其中，各数据解析节点具有相同的数据处理能力指标数据；相应的，所述配置信息采集处理方法还包括：

获取配置信息采集处理任务；所述配置信息采集处理任务包括配置信息采集处理更新周期和数据量；

根据所述配置信息采集处理更新周期、所述数据量和所述数据处理能力指标数据，确定所述系统包括的数据解析节点数量。