[发明专利]一种日志文件分析方法及装置在审
申请号: | 201710030050.8 | 申请日: | 2017-01-16 |
公开(公告)号: | CN108319541A | 公开(公告)日: | 2018-07-24 |
发明(设计)人: | 吴能;廖军 | 申请(专利权)人: | 上海大唐移动通信设备有限公司 |
主分类号: | G06F11/34 | 分类号: | G06F11/34;G06F11/30;G06F17/30 |
代理公司: | 北京路浩知识产权代理有限公司 11002 | 代理人: | 王莹 |
地址: | 200233 上海市*** | 国省代码: | 上海;31 |
权利要求书: | 查看更多 | 说明书: | 查看更多 |
摘要: | |||
搜索关键词: | 正文数据 首地址 文件头 分析 日志文件分析 日志文件 指针 预设 缓存 实现文件 预先建立 内存 解析 存储 消耗 | ||
本发明实施例公开了一种日志文件分析方法及装置,方法包括:获取对待分析的日志文件预先建立的文件头指针,根据文件头指针获取待分析日志文件中正文数据的首地址以及正文数据的预设长度;根据所述正文数据的首地址,获取达到所述正文数据的预设长度的正文数据并分析。利用文件头指针中存储的正文数据的首地址快速查找到待分析的正文数据,只有定位到所要分析的正文数据的首地址,才会对获取的正文数据缓存,分析,消耗的内存少,从而可实现文件内容的快速解析。
技术领域
本发明实施例涉及通信技术领域,具体涉及一种日志文件分析方法及装置。
背景技术
日志文件通常是系统或者某些软件对已完成的某种处理的记录,以便将来做为参考,一些技术人员可以通过查看日志文件,检查是否有一些报错记录,然后根据其报错,找到问题的根源。
ADT设备在运行的过程中,会生成很大如1T的日志文件。原有的日志文件分析方法主要有两种,第一种为采用第三方工具人工分析,即用第三方工具打开并分析日志文件,如采用该第三方工具的某个插件功能分析日志文件中的数据,该分析方法将日志文件的所有内容均存储在内存中,若日志文件一般大,打开会很消耗内存,再大一点,打开文件就失败,分析更无从谈起,即便打开成功,人工分析的工作量可想而知,且容易出错,有失准确。另一种方法为利用操作系统提供的/O函数操作文件(逐行读取数据),由于日志文件正文的长度不定,I/O函数在读取时,无法确定读取字节长度,若过长,会浪费空间,若过短,日志文件内容会读不全,造成数据分析会有偏差。I/O函数涉及到深拷贝问题、需要额外的空间存储数据,而且日志文件中有很大一部分文件是不需要分析的,所以该方法分析速度会慢、且容易出错,另外,I/O函数是阻塞函数,在对性能要求高的情况下,会影响程序的整体性能。
发明内容
由于现有的日志文件分析方法过于消耗内存,造成文件打不开或分析速度慢的问题,本发明实施例提出一种日志文件分析方法及装置。
第一方面,本发明实施例提出一种日志文件分析方法,包括:
获取对待分析的日志文件预先建立的文件头指针;
根据所述文件头指针获取所述待分析日志文件中正文数据的首地址以及正文数据的预设长度;
根据所述正文数据的首地址,获取达到所述正文数据的预设长度的正文数据并分析。
可选地,所述正文数据的首地址以及正文数据的预设长度为一一对应关系,每个正文数据的首地址和对应正文数据的预设长度作为一个单元,至少两个单元在所述文件头指针中的布置规则为:按照在所述文件头指针中由第一个字节到最后一个字节的顺序的正文数据的首地址依次增大的方式布置所述至少两个单元;
相应地,所述根据所述文件头指针获取所述待分析日志文件中正文数据的首地址以及正文数据的预设长度,包括:
按照所述文件头指针中由第一个字节到最后一个字节的顺序依次获取所述待分析日志文件中正文数据的首地址以及对应正文数据的预设长度。
可选地,所述获取对待分析的日志文件预先建立的文件头指针之前,所述方法还包括:
将所述待分析的日志文件正文数据分割成预设数量以及预设长度的正文数据;
获取每个正文数据的首地址,并将每个正文数据的首地址以及每个正文数据的预设长度存储在预先获取的文件头指针中。
可选地,所述方法还包括:
获取分析结果,并将分析结果存储到存储设备中。
可选地,所述待分析的日志文件为ADT设备运行产生的日志文件。
第二方面,本发明还提供一种日志文件分析装置,包括:
第一获取单元,用于获取对待分析的日志文件预先建立的文件头指针;
该专利技术资料仅供研究查看技术是否侵权等信息,商用须获得专利权人授权。该专利全部权利属于上海大唐移动通信设备有限公司,未经上海大唐移动通信设备有限公司许可,擅自商用是侵权行为。如果您想购买此专利、获得商业授权和技术合作,请联系【客服】
本文链接:http://www.vipzhuanli.com/pat/books/201710030050.8/2.html,转载请声明来源钻瓜专利网。
- 上一篇:硬盘灯号控制系统
- 下一篇:信息处理方法、装置及系统