[发明专利]一种数据监控的方法及设备

说明书

本申请的目的是提供一种数据监控的方法及设备，本申请通过获取在数据源端进行标签标记的数据以及标签标记的数据的统计信息；将所述标签标记的数据按照传输链路进行传输，确定各标签标记的数据在传输链路的层级时对应的统计信息；基于所述标签标记的数据的统计信息及所述传输链路的层级时对应的统计信息，对在所述传输链路中的标签标记的数据进行监控分析，能够达到第一时间发现数据丢失和快速定位丢失数据的效果，能绝对保证数据的完整性。

技术领域

本申请涉及计算机领域，尤其涉及一种数据监控的方法及设备。

背景技术

随着信息技术的发展，大数据分析与人们的生活联系的越来越紧密，比如对数据采集系统的数据完整性进行监控，数据监控是指通过数据的变化趋势，来判断数据、处理设备等是否出现异常情况，以便于能够及时发现问题，尽早进行维护。

目前，普遍存在系统上线后很难及时发现数据丢失，快速找回和补全丢失数据的痛点。

发明内容

本申请的一个目的是提供一种数据监控的方法及设备，解决现有技术中在系统上线后很难及时发现数据丢失及具体定位到丢失的数据的问题。

根据本申请的一个方面，提供了一种数据监控的方法，该方法包括：

获取在数据源端进行标签标记的数据以及标签标记的数据的统计信息；

将所述标签标记的数据按照传输链路进行传输，确定各标签标记的数据在传输链路的层级时对应的统计信息；

基于所述标签标记的数据的统计信息及所述传输链路的层级时对应的统计信息，对在所述传输链路中的标签标记的数据进行监控分析。

进一步地，所述标签标记的数据的统计信息包括标签名、源端唯一标识、起始时间、结束时间、数据条数及发送时间。

进一步地，确定各标签标记的数据在传输链路的层级时对应的统计信息，包括：

根据标签对所述标签标记的数据进行分区存储成文件，并确定每一条标签标记的数据的全局唯一序列标识及存储成文件时的文件标识；

根据所述标签标记的数据生成的分区及所述文件标识确定所述标签标记的数据在传输链路的第一层级时对应的统计信息。

进一步地，所述方法包括：

将接收到的数据源端发送的所述标签标记的数据的统计信息、所述标签标记的数据在所述第一层级时对应的统计信息及文件的起止标识存储至数据库。

进一步地，所述标签标记的数据的全局唯一序列标识包括：

标签、所在服务器的标识、所在分区的分区标识及所在文件的文件标识。

进一步地，所述方法包括：

根据标签对所述标签标记的数据进行分区存储成文件之后，将所述标签标记的数据存储成的每一文件分成一个或多个事务；

将所述一个或多个事务写入分布式消息系统，并进行同步标识，其中，进行同步标识包括：更改所述一个或多个事务对应的文件的文件标识或将对应的文件移动至指定位置。

进一步地，确定各标签标记的数据在传输链路的层级时对应的统计信息，包括：

根据每一事务确定每条标签标记的数据在传输链路的第二层级时对应的第一统计信息，并将所述第一统计信息存储至数据库，其中，所述第一统计信息包括事务标识、服务器标识、分区标识、文件标识、文件的起止标识及事务状态信息。

进一步地，所述方法包括：

读取所述分布式消息系统中的数据，并将所述数据存储至分布式仓库。