[发明专利]日志数据处理方法、装置、电子设备及存储介质有效
申请号: | 201810263869.3 | 申请日: | 2018-03-28 |
公开(公告)号: | CN108491526B | 公开(公告)日: | 2022-02-22 |
发明(设计)人: | 陈其荣 | 申请(专利权)人: | 腾讯科技(深圳)有限公司 |
主分类号: | G06F16/25 | 分类号: | G06F16/25 |
代理公司: | 北京三高永信知识产权代理有限责任公司 11138 | 代理人: | 刘映东 |
地址: | 518057 广东省深圳*** | 国省代码: | 广东;44 |
权利要求书: | 查看更多 | 说明书: | 查看更多 |
摘要: | |||
搜索关键词: | 日志 数据处理 方法 装置 电子设备 存储 介质 | ||
1.一种日志数据处理方法,其特征在于,所述方法应用在目标服务器中,所述方法包括:
当接收到流转指令时,显示流转界面,基于所述流转界面的输入选项,获取目标流转路径信息,所述目标流转路径信息至少包括源服务器的标识、流转启动时间和目标服务器的标识;
根据所述源服务器的标识、所述流转启动时间和所述目标服务器的标识,从所述源服务器中获取日志数据,以使所述日志数据流转至所述目标服务器;
当所述日志数据成功流转至所述目标服务器时,显示入库界面,基于所述入库界面的输入选项,获取所述日志数据的目标入库路径信息,所述目标入库路径信息至少包括筛选条件信息;
根据所述筛选条件信息中的筛选表达式,在所述日志数据包括的多行数据中筛选出与所述筛选表达式匹配的行数据,删除与所述筛选表达式匹配的行数据,将筛选后的日志数据存储至所述目标服务器的数据库中,所述筛选表达式用于筛选出所述日志数据中的空数据或错误数据。
2.根据权利要求1所述的方法,其特征在于,所述根据所述源服务器的标识、所述流转启动时间和所述目标服务器的标识,从所述源服务器中获取日志数据包括:
当达到所述流转启动时间时,将所述目标服务器的历史日志数据移动至缓存空间以外的其他存储空间,并根据所述源服务器的标识,读取所述源服务器中的日志数据,将读取的日志数据存储至所述目标服务器的缓存空间中。
3.根据权利要求2所述的方法,其特征在于,所述目标流转路径信息还包括尝试次数和预设时间,所述根据所述源服务器的标识、所述流转启动时间和所述目标服务器的标识,从所述源服务器中获取日志数据之后,所述方法还包括:
当所述日志数据未成功流转至所述目标服务器时,通过计时器开始计时,当计时时间达到所述预设时间时,再次执行从所述源服务器中获取日志数据的过程;
当未成功流转次数达到所述尝试次数时,停止执行从所述源服务器中获取日志数据的过程,并将所述目标服务器的历史日志数据重新移回所述目标服务器的原存储空间中。
4.根据权利要求1所述的方法,其特征在于,所述目标入库路径信息还包括分隔符,所述分隔符用于将所述日志数据内所包括的多行数据间隔为不同数组;所述将筛选后的日志数据存储至所述目标服务器的数据库中包括:
对于每行数据,查找所述行数据内的分隔符,基于所述分隔符,将所述行数据所包括的子数据添加至对应数组中,得到多个数组;
将所述多个数组分别存储至所述数据库的数据表对应字段中。
5.根据权利要求1所述的方法,其特征在于,所述目标流转路径信息还包括用户终端的终端标识,所述用户终端为使用所述目标服务器的用户的终端,所述方法还包括:
根据所述终端标识,向所述用户终端发送通知消息,所述通知消息用于通知所述用户所述日志数据是否成功流转至所述目标服务器。
6.一种日志数据处理装置,其特征在于,所述装置应用在目标服务器中,所述装置包括:
显示模块,用于当接收到流转指令时,显示流转界面,基于所述流转界面的输入选项,获取目标流转路径信息,所述目标流转路径信息至少包括源服务器的标识、流转启动时间和目标服务器的标识;
获取模块,用于根据所述源服务器的标识、所述流转启动时间和所述目标服务器的标识,从所述源服务器中获取日志数据,以使所述日志数据流转至所述目标服务器;
所述显示模块,还用于当所述日志数据成功流转至所述目标服务器时,显示入库界面,基于所述入库界面的输入选项,获取所述日志数据的目标入库路径信息,所述目标入库路径信息至少包括筛选条件信息;
存储模块,用于根据所述筛选条件信息中的筛选表达式,在所述日志数据包括的多行数据中筛选出与所述筛选表达式匹配的行数据,删除与所述筛选表达式匹配的行数据,将筛选后的日志数据存储至所述目标服务器的数据库中,所述筛选表达式用于筛选出所述日志数据中的空数据或错误数据。
该专利技术资料仅供研究查看技术是否侵权等信息,商用须获得专利权人授权。该专利全部权利属于腾讯科技(深圳)有限公司,未经腾讯科技(深圳)有限公司许可,擅自商用是侵权行为。如果您想购买此专利、获得商业授权和技术合作,请联系【客服】
本文链接:http://www.vipzhuanli.com/pat/books/201810263869.3/1.html,转载请声明来源钻瓜专利网。