[发明专利]一种数据监控方法和装置

说明书

本发明公开了一种数据监控方法和装置，涉及计算机技术领域。该方法的一具体实施方式包括：对数据操作的日志进行预设处理，所述预设处理包括：按照过滤规则过滤所述日志中的数据操作记录，根据所述过滤的结果统计所述日志对应时段的有效新增数据量；根据所述预设处理的结果监控数据是否出现异常。该实施方式能够避免入库查询操作，减少数据查询和统计的开销，可以批量处理，查询速度快，数据监控效率高，可以同时监控某一时段的有效新增数据量、最终数据状态的信息和操作明细，监控维度多样，并且根据操作明细可以评估业务操作的准确性。

技术领域

本发明涉及计算机技术领域，尤其涉及一种数据监控方法和装置。

背景技术

当前很多业务系统数据量大、数据状态变更频繁，例如，财务系统，其数据非常多且对账过程中数据状态变更比较频繁，为了保证系统中数据的正确性、业务人员操作的准确性，对于数据的监控很有必要。

现有的数据监控方案包括三种：数据条数监控、数据状态监控、数据操作记录监控。其中，数据条数监控需通过查询数据库来以天、账户等统计数据库中数据条数，形成基础数据，记录每次的监控数据。数据状态监控，需通过查询数据库来以天、账户等统计数据库中数据的状态，形成基础数据，记录每次的监控数据。数据操作记录监控需通过数据库记录来监控用户对数据变更的操作，包括新增、更新、删除，当出现数据异常时，可以追溯到数据变更人，其无法评估业务操作的准确性，仅仅是一个记录而已。上述三种方案监控维度都比较单一。

在实现本发明过程中，发明人发现现有技术中至少存在如下问题：

现有方案均需依赖于查询数据库来实现数据监控，数据查询和统计开销较大，且对数据库表的查询无法批量处理，查询速度慢，降低了数据监控效率，并且监控维度都比较单一，无法评估业务操作的准确性。

发明内容

有鉴于此，本发明实施例提供一种数据监控方法和装置，能够避免入库查询操作，减少数据查询和统计的开销，可以批量处理，查询速度快，数据监控效率高，可以同时监控某一时段的有效新增数据量、最终数据状态的信息和操作明细，监控维度多样，并且根据操作明细可以评估业务操作的准确性。

为实现上述目的，根据本发明实施例的一个方面，提供了一种数据监控方法。

一种数据监控方法，包括：对数据操作的日志进行预设处理，所述预设处理包括：按照过滤规则过滤所述日志中的数据操作记录，根据所述过滤的结果统计所述日志对应时段的有效新增数据量；根据所述预设处理的结果监控数据是否出现异常。

可选地，按照过滤规则过滤所述日志中的数据操作记录的步骤，包括：将对所述有效新增数据量无影响的数据操作记录滤除，其中，对所述有效新增数据量无影响的数据操作记录包括：对数据执行的数据查询操作或数据删除操作的记录；对一数据执行的所述数据删除操作之前，对同一数据执行的特定数据操作的记录，所述特定数据操作包括数据查询操作、数据新增操作、数据更新操作中的一种或多种。

可选地，所述预设处理还包括：按照合并规则合并所述日志中的数据操作记录；根据所述合并和所述过滤的结果，统计所述日志对应时段的最终数据状态的信息。

可选地，按照合并规则合并所述日志中的数据操作记录的步骤，包括：将对同一数据执行两次或两次以上数据更新操作的记录合并；将对同一数据先后执行数据新增和数据更新操作的记录合并。

可选地，所述预设处理还包括：根据所述日志中对每一数据的数据操作记录和数据状态记录，生成各数据的数据操作序列和数据状态序列，并统计所述日志中各类数据操作的频次。

可选地，对数据操作的日志进行预设处理的步骤，包括：按照所述日志的总行数将所述日志均分成多份，并分别对每份日志进行所述预设处理。

根据本发明实施例的另一方面，提供了一种数据监控装置。