[发明专利]异常数据分析方法、装置、设备与计算机可读存储介质

说明书

本发明涉及金融科技领域，并公开了一种异常数据分析方法，包括：通过数据采集装置采集监控源的历史数据，并对所述历史数据进行清洗，以得到所述历史数据对应的目标数据集；基于预设算法，对所述目标数据集进行聚类分析，以得到所述目标数据集对应的结果簇；基于所述结果簇，确定所述监控源的异常问题。本发明还公开了一种异常数据分析装置、设备和一种计算机可读存储介质。本发明通过对监控源的历史数据进行清洗聚类，从而分析出异常问题，实现异常问题的快速定位。

技术领域

本发明涉及金融科技(Fintech)技术领域，尤其涉及异常数据分析方法、装置、设备与计算机可读存储介质。

背景技术

近年来，随着金融科技(Fintech)，尤其是互联网金融的不断发展，监控运维技术被引入银行等金融机构的日常管理中。在金融机构日常服务过程中，需要使用到相关的网络设备和服务器等硬件设施对内/对外服务，而这些硬件设施在服务过程中有可能会出现异常现象，导致服务中断，因此，需要对这些硬件设施进行监控，以及时对异常现象进行处理。

在对服务器、主机和网络设备等硬件资源进行监控的过程中，较为常用的外部工具为Zabbix(一个基于WEB界面的提供分布式系统监视以及网络监视功能的企业级的开源解决方案)，但Zabbix配置较为复杂，对运维人员要求较高，并且Zabbix作为一个系统监控平台，侧重于监控系统的异常监控以及及时告警，对异常数据分析方面的探索有限，无法对异常数据进行分析。

发明内容

本发明的主要目的在于提出一种异常数据分析方法、装置、设备与计算机可读存储介质，旨在对异常数据进行分析，从而确定异常问题。

为实现上述目的，本发明提供一种异常数据分析方法，所述异常数据分析方法包括如下步骤：

通过数据采集装置采集监控源的历史数据，并对所述历史数据进行清洗，以得到所述历史数据对应的目标数据集；

基于预设算法，对所述目标数据集进行聚类分析，以得到所述目标数据集对应的结果簇；

基于所述结果簇，确定所述监控源的异常问题。

优选地，所述通过数据采集装置采集监控源的历史数据，并对所述历史数据进行清洗，以得到所述历史数据对应的目标数据集的步骤包括：

通过数据采集装置采集监控源的历史数据，并基于所述监控源的类别，确定所述历史数据所属的转换规则；

基于所述转换规则，将所述历史数据转换为目标数据集。

优选地，所述基于预设算法，对所述目标数据集进行聚类分析，以得到所述目标数据集对应的结果簇的步骤包括：

在所述目标数据集中的样本中选取k个随机样本作为第一质心，其中，k为随机数，k小于所述样本的样本数；

依次计算所述目标数据集中各样本到各第一质心的距离，并确定当前样本到各第一质心的距离中的第一最小距离，基于所述第一最小距离，确定当前样本在所述第一质心中对应的目标质心，直至所述目标数据集中各样本计算完毕，将所属同一目标质心的样本合为一个簇，以得到第一聚类簇；

计算各第一聚类簇的第二质心，并基于所述第一质心，确定所述第二质心是否变化；

若无变化，则将所述第一聚类簇作为所述目标数据集的结果簇。

优选地，所述计算各第一聚类簇的第二质心，并基于所述第一质心，确定所述第二质心是否变化的步骤之后，所述方法还包括：

若变化，则依次计算所述目标数据集中各样本到各第二质心的距离，并确定当前样本到各第二质心的距离中的第二最小距离，基于所述第二最小距离，确定当前样本在所述第二质心中对应的目标质心，直至所述目标数据集中各样本计算完毕，将所属同一目标质心的样本合为一个簇，以得到第二聚类簇；