[发明专利]一种数据可视化方法、装置以及计算机可读存储介质

说明书

本申请公开了一种数据可视化方法、装置以及计算机可读存储介质，该方法可应用于数据计算的场景中，该方法包括：获取下游组件针对数据流的第一数据处理结果，获取下游组件的上游组件针对数据流的第二数据处理结果；根据第一数据处理结果和第二数据处理结果，获取下游组件针对数据流的数据处理评估参数；在可视化界面创建下游组件与上游组件之间的数据吞吐链；数据吞吐链包括上游组件与下游组件之间的数据处理流向关系、上游组件的组件信息以及下游组件的组件信息；在可视化界面中的数据吞吐链所在位置处，输出数据处理评估参数。采用本申请，可增强对组件针对数据流的数据处理情况的监控力度。

技术领域

本申请涉及数据处理的技术领域，尤其涉及一种数据可视化方法、装置以及计算机可读存储介质。

背景技术

随着计算机网络的不断发展，越来越多的事物可以通过计算机网络得以实现，因此，随着时间的推移，计算机网络中所产生的数据也就越来越多。在这大量的数据中，往往很难找到所需要的有效信息，例如，某数据增长规律，某产品受众人群特征等信息。因此，需要对这大量的数据进行数据处理才能推导出所需的有效信息，数据处理的手段可以包括数据过滤、数据组合以及数据变形等手段。其中，可以通过组件(例如分布式流式计算框架storm中的处理组件bolt)对数据(可以是数据流)进行处理。

现有技术中，在通过组件对数据进行处理时，通常只能查看到每个组件的输入数据和输出数据，进而通过该输入数据和输出数据来实现对组件的数据处理情况的监控，但是，仅仅通过组件的输入数据和输出数据实现对组件的数据处理情况的监控，此间监控的力度较低。

申请内容

本申请提供了一种数据可视化方法、装置以及计算机可读存储介质，可增强对组件针对数据流的数据处理情况的监控力度。

本申请一方面提供了一种数据可视化方法，包括：

获取下游组件针对数据流的第一数据处理结果，获取下游组件的上游组件针对数据流的第二数据处理结果；

根据第一数据处理结果和第二数据处理结果，获取下游组件针对数据流的数据处理评估参数；

在可视化界面创建下游组件与上游组件之间的数据吞吐链；数据吞吐链包括上游组件与下游组件之间的数据处理流向关系、上游组件的组件信息以及下游组件的组件信息；

在可视化界面中的数据吞吐链所在位置处，输出数据处理评估参数。

其中，第二数据处理结果为空；

根据第一数据处理结果和第二数据处理结果，获取下游组件针对数据流的数据处理评估参数，包括：

从第一数据处理结果中，获取下游组件针对数据流的数据处理失败量；

将数据处理失败量，确定为数据处理评估参数。

其中，还包括：

当数据处理失败量大于数据处理失败量阈值时，根据数据处理失败量和下游组件的组件信息，生成第一告警消息；

将第一告警消息发送至告警设备。

其中，第二数据处理结果中包括上游组件的出口数据的数据量；出口数据属于数据流；出口数据为上游组件向下游组件所发送的数据；

根据第一数据处理结果和第二数据处理结果，获取下游组件针对数据流的数据处理评估参数，包括：

从第一数据处理结果中获取下游组件针对出口数据的数据处理量；

根据数据处理量与出口数据的数据量，确定下游组件针对出口数据的数据成功处理率；

将数据成功处理率确定为数据处理评估参数。

其中，还包括：