[发明专利]用于数据交互的异常信息监控方法及装置

说明书

本发明实施例提供一种用于数据交互的异常信息监控方法及装置。该用于数据交互的异常信息监控方法包括：将源数据库数据导入至目标数据库中，生成数据流传输日志文件；读取异常信息规则库并调用文本处理器；通过所述文本处理器根据所述异常信息规则库中配置的规则解析所述数据流传输日志文件，捕获异常信息。本发明实施例通过配置的异常信息规则库中的规则，并通过调用三文本处理器根据该规则来捕获源数据库导入至目标数据库中的异常信息，能够实现数据库间数据交互异常信息的监控。

技术领域

本发明实施例涉及计算机技术领域，尤其涉及一种用于数据交互的异常信息监控方法及装置、电子设备、计算机可读介质。

背景技术

商业化数据库系统DBS(Data Base System)是成熟、稳定、广泛使用的结构化数据管理系统，也是目前保险行业使用的主流数据库产品，如DB2、ORACLE、MySQL等。根据数据库的成本、可靠性和业务系统特性的多样化，同一个公司通常存在着各种类型的数据库系统。这些主流的数据库系统各有其特色，如DB2数据库只支持OS/400操作系统，MySQL数据库的开源社区化运行等。虽然随着关系型数据库的发展和成熟，数据库系统间可移植性和兼容性有了显著的进步，但由于保险行业对结构化数据的传输和交互的准确性的要求异常高，同时，业务系统对数据的存储不规范，造成保证不同数据库系统之间大量数据交互准确性依然有一定的难度，如数据类型的缺省值定义和人为因素造成的脏数据，尤其是历史数据的噪音。所谓的历史数据噪音是指在系统设计时由于校验缺失导致数据的存储不规范、关键数据缺失等问题，例如客户的地址用“？”或者“*”等特殊字符代替，身份证号用非数值型和非字母型存储等。

在保险公司，业务系统进行数据传输主要有两种方式，一种是通过WebService接口进行轻量级数据交互；另一种是重量级数据(大数据)交互方式，即通过隔夜获取的数据方式进行数据的交互，俗称T+1模式。这种数据的交互主要是数据库系统之间基于目标数据库环境进行数据的传输，T+1模式对于处理大数据量非常具有优势，速度快、吞吐量大。然而对数据传输的异常信息监控相比第一种方式略显不足，尤其是对数据类型及其格式的校验无法像WebService一样进行架构在应用端进行操作，保证数据库存储的准确性。而这种错误会使得目标数据库系统直接回退事务或者存储成脏数据，进而增加目标数据库系统的风险。

同时，数据库系统自身的异质性也会造成在数据导入导出时会产生一些异常信息，给业务系统的开发、运维带来了极大的不便和成本，尤其对于保险行业的核心系统，往往这些异常会造成很大的损失。同时大规模对数据的业务处理往往具有滞后性，数据传输异常和业务发现异常之间的时间差往往会造成巨大的损失，会在系统中产生“蝴蝶效应”。

因此，需要一种改进的用于数据交互的异常信息监控方法及装置、电子设备、计算机可读介质。

发明内容

为克服相关技术中存在的问题，本发明实施例提供一种用于数据交互的异常信息监控方法及装置、电子设备、计算机可读介质，实现数据库间数据交互时的异常信息监控。

根据本发明实施例的一个方面，提供一种用于数据交互的异常信息监控方法，包括：将源数据库数据导入至目标数据库中，生成数据流传输日志文件；读取异常信息规则库并调用文本处理器；通过所述文本处理器根据所述异常信息规则库中配置的规则解析所述数据流传输日志文件，捕获异常信息。

在本发明的一种示例性实施例中，所述源数据库和所述目标数据库是不同类型的关系型数据库，所述数据是结构化数据。

在本公开的一种示例性实施例中，所述异常信息规则库相对于所述文本处理器是独立的部分，所述方法还包括：在所述异常信息规则库中配置新的规则和/或删除/修改已有的规则。

在本发明的一种示例性实施例中，所述定时对数据流传输日志进行监控包括：所述异常信息规则库中配置的规则包括所述源数据库数据导入至所述目标数据库时产生的异常信息和/或所述目标数据库的性能指标。