[发明专利]一种数据监控的方法及设备

权利要求书

1.一种数据监控的方法，其中，所述方法包括：

获取在数据源端进行标签标记的数据以及标签标记的数据的统计信息，其中，所述标签标记的数据的统计信息包括标签名、源端唯一标识、起始时间、结束时间、数据条数及发送时间；

将所述标签标记的数据按照传输链路进行传输，确定各标签标记的数据在传输链路的层级时对应的统计信息，其中，所述传输链路的层级为数据传输时的传输链路的节点或传输步骤；

基于所述标签标记的数据的统计信息及所述传输链路的层级时对应的统计信息，对在所述传输链路中的标签标记的数据进行监控分析。

2.根据权利要求1所述的方法，其中，确定各标签标记的数据在传输链路的层级时对应的统计信息，包括：

根据标签对所述标签标记的数据进行分区存储成文件，并确定每一条标签标记的数据的全局唯一序列标识及存储成文件时的文件标识；

根据所述标签标记的数据生成的分区及所述文件标识确定所述标签标记的数据在传输链路的第一层级对应的统计信息。

3.根据权利要求2所述的方法，其中，所述方法包括：

将接收到的数据源端发送的所述标签标记的数据的统计信息、所述标签标记的数据在所述第一层级对应的统计信息及文件的起止标识存储至数据库。

4.根据权利要求2所述的方法，其中，所述标签标记的数据的全局唯一序列标识包括标签、所在采集服务器的标识、所在分区的分区标识及所在文件的文件标识。

5.根据权利要求2所述的方法，其中，所述方法包括：

根据标签对所述标签标记的数据进行分区存储成文件之后，将所述标签标记的数据存储成的每一文件分成一个或多个事务；

将所述一个或多个事务写入分布式消息系统，并进行同步标识，其中，进行同步标识包括：更改所述一个或多个事务对应的文件的文件标识或将对应的文件移动至指定位置。

6.根据权利要求5所述的方法，其中，确定各标签标记的数据在传输链路的层级时对应的统计信息，包括：

根据每一事务确定每条标签标记的数据在传输链路的第二层级对应的第一统计信息，并将所述第一统计信息存储至数据库，其中，所述第一统计信息包括事务标识、采集服务器标识、分区标识、文件标识、文件的起止标识及事务状态信息。

7.根据权利要求6所述的方法，其中，所述方法包括：

读取所述分布式消息系统中的数据，并将所述数据存储至分布式仓库。

8.根据权利要求7所述的方法，其中，确定各标签标记的数据在传输链路的层级时对应的统计信息，包括：

根据标签、采集服务器标识、分区标识及文件标识确定每条标签标记的数据在传输链路的第三层级对应的第二统计信息，并将所述第二统计信息存储至数据库。

9.根据权利要求8所述的方法，其中，确定各标签标记的数据在传输链路的层级时对应的统计信息，包括：

根据所述标签标记的数据的全局唯一序列标识、所在分区的分区标识及所在文件的文件标识中任几种组合确定每条标签标记的数据在传输链路的第四层级对应的统计信息，并将确定的统计信息存储至数据库。

10.根据权利要求2至9中任一项所述的方法，其中，所述对在所述传输链路中的标签标记的数据进行监控分析，包括：

根据所述标签标记的数据的统计信息及所述标签标记的数据在所述第一层级对应的统计信息，判断所述标签标记的数据从数据源端到所述第一层级的传输过程中是否存在数据丢失。

11.根据权利要求10所述的方法，其中，所述方法包括：

若所述标签标记的数据从数据源端到所述第一层级的传输过程中存在数据丢失，则根据标签、数据接收的起止时间、所述标签标记的数据的数量定位数据丢失的位置，将定位到的位置对应的标签标记的数据进行重新传输。