[发明专利]用于数据交互的异常信息监控方法及装置有效
| 申请号: | 201710750693.X | 申请日: | 2017-08-28 |
| 公开(公告)号: | CN107506451B | 公开(公告)日: | 2020-11-03 |
| 发明(设计)人: | 杨旺明;刘清华;王坤;李娟 | 申请(专利权)人: | 泰康保险集团股份有限公司 |
| 主分类号: | G06F16/21 | 分类号: | G06F16/21;G06F16/25;G06F16/28 |
| 代理公司: | 隆天知识产权代理有限公司 72003 | 代理人: | 李昕巍;章侃铱 |
| 地址: | 100031 北*** | 国省代码: | 北京;11 |
| 权利要求书: | 查看更多 | 说明书: | 查看更多 |
| 摘要: | |||
| 搜索关键词: | 用于 数据 交互 异常 信息 监控 方法 装置 | ||
1.一种用于数据交互的异常信息监控方法,其特征在于,包括:
将源数据库数据导入至目标数据库中,生成数据流传输日志文件;
读取异常信息规则库并调用文本处理器,所述异常信息规则库相对于所述文本处理器是独立的部分,能够直接在所述异常信息规则库中配置新的规则或者删除/修改已有的规则;
通过所述文本处理器根据所述异常信息规则库中配置的规则,利用脚本语言的正则表达式和Shell文件处理功能,通过Linux系统定时命令,解析所述数据流传输日志文件,捕获异常信息,所述异常信息规则库中配置的规则包括所述源数据库数据导入至所述目标数据库时产生的异常信息和/或所述目标数据库的性能指标。
2.根据权利要求1所述的用于数据交互的异常信息监控方法,其特征在于,所述源数据库和所述目标数据库是不同类型的关系型数据库,所述数据是结构化数据。
3.根据权利要求1所述的用于数据交互的异常信息监控方法,其特征在于,所述异常信息规则库中配置的规则包括第一类型规则,其中通过所述文本处理器根据所述异常信息规则库中配置的规则解析所述数据流传输日志文件,捕获异常信息包括:
执行完导入数据命令后,所述文本处理器实时扫描所述数据流传输日志文件,获取文件生成时间;
当所述文件生成时间晚于定时任务执行时间时,触发所述文本处理器进行所述数据流传输日志文件的解析;
所述文本处理器根据所述异常信息规则库中配置的所述第一类型规则进行所述数据流传输日志文件的全文搜索;
当所述数据流传输日志文件中存在所述第一类型规则中的字段时,抓取所述数据流传输日志文件所述字段后的信息,捕获所述异常信息。
4.根据权利要求1所述的用于数据交互的异常信息监控方法,其特征在于,所述异常信息规则库中配置的规则包括第二类型规则,其中通过所述文本处理器根据所述异常信息规则库中配置的规则解析所述数据流传输日志文件,捕获异常信息包括:
执行完导入数据命令后,所述文本处理器实时扫描所述数据流传输日志文件,获取文件生成时间;
当所述文件生成时间晚于定时任务执行时间时,触发所述文本处理器进行所述数据流传输日志文件的解析;
所述文本处理器根据所述异常信息规则库中配置的所述第二类型规则进行所述数据流传输日志文件的搜索;
当所述数据流传输日志文件中存在所述第二类型规则中的字段时,终止当前搜索,调用第二类型规则处理包进行处理,捕获所述异常信息。
5.根据权利要求1所述的用于数据交互的异常信息监控方法,其特征在于,所述异常信息包括异常数据及其相应的数据流传输日志文件,所述方法还包括:
当捕获到所述异常信息时,将所述异常数据及其相应的数据流传输日志文件进行存储;
对所述异常数据及其相应的数据流传输日志文件进行分析处理,生成异常信息报告并调用即时通讯接口进行推送。
6.根据权利要求1所述的用于数据交互的异常信息监控方法,其特征在于,所述方法还包括:
将所述源数据库和所述目标数据库间的数据交互量、数据导入导出耗费时间、异常信息中的一种或者多种作为数据库交互压力指标。
7.一种用于数据交互的异常信息监控装置,其特征在于,包括:
日志文件生成模块,用于将源数据库数据导入至目标数据库中,生成数据流传输日志文件;
读取调用模块,用于读取异常信息规则库并调用文本处理器,所述异常信息规则库相对于所述文本处理器是独立的部分,能够直接在所述异常信息规则库中配置新的规则或者删除/修改已有的规则;
异常信息捕获模块,用于通过所述文本处理器根据所述异常信息规则库中配置的规则,利用脚本语言的正则表达式和Shell文件处理功能,通过Linux系统定时命令,解析所述数据流传输日志文件,捕获异常信息,所述异常信息规则库中配置的规则包括所述源数据库数据导入至所述目标数据库时产生的异常信息和/或所述目标数据库的性能指标。
该专利技术资料仅供研究查看技术是否侵权等信息,商用须获得专利权人授权。该专利全部权利属于泰康保险集团股份有限公司,未经泰康保险集团股份有限公司许可,擅自商用是侵权行为。如果您想购买此专利、获得商业授权和技术合作,请联系【客服】
本文链接:http://www.vipzhuanli.com/pat/books/201710750693.X/1.html,转载请声明来源钻瓜专利网。
- 数据显示系统、数据中继设备、数据中继方法、数据系统、接收设备和数据读取方法
- 数据记录方法、数据记录装置、数据记录媒体、数据重播方法和数据重播装置
- 数据发送方法、数据发送系统、数据发送装置以及数据结构
- 数据显示系统、数据中继设备、数据中继方法及数据系统
- 数据嵌入装置、数据嵌入方法、数据提取装置及数据提取方法
- 数据管理装置、数据编辑装置、数据阅览装置、数据管理方法、数据编辑方法以及数据阅览方法
- 数据发送和数据接收设备、数据发送和数据接收方法
- 数据发送装置、数据接收装置、数据收发系统、数据发送方法、数据接收方法和数据收发方法
- 数据发送方法、数据再现方法、数据发送装置及数据再现装置
- 数据发送方法、数据再现方法、数据发送装置及数据再现装置





