[发明专利]一种机器数据在线处理方法及系统

说明书

本发明提供一种机器数据在线处理方法及系统，该方法包括：对实时采集的机器数据进行元数据识别，将无法识别的异常机器数据缓存到异常消息队列；对异常消息队列中的异常机器数据分类，将异常机器数据中未注册元数据的异常数据存放在第一异常目录；读取第一异常目录中的异常数据，抽取该异常数据中包含的元数据，将元数据注册到元数据管理模块，对第一异常目录中的成功进行元数据注册的异常数据添加注册标识；提取第一异常目录中添加有注册标识的数据，将提取出的数据导入存放有有效机器数据的有效数据目录。本发明能够从实时接收的机器数据中自动识别出未注册元数据的异常数据，并直接从中抽取出元数据，有效提高了机器数据的处理效率和准确率。

技术领域

本发明涉及机器数据在线处理技术领域，尤其涉及一种机器数据在线处理方法及系统。

背景技术

随着互联网技术的广泛应用，在科技行业，以及传统行业与互联网行业的结合的大背景下，企业的机器数据的增长呈现指数级，这些数据含有宝贵的价值。

目前，机器数据采集和管理系统中，元数据通常有缺失定义的情况，比如设备模板，设备实例和设备模板的映射关系等，进而导致这些数据无法被识别。其中，元数据是一种关于数据的数据，一般是结构化数据(如存储在数据库里的数据，规定了字段的长度、类型等)。具体的，对于机器数据而言，元数据是指从机器数据中抽取出来的用于说明其特征、内容的结构化的数据。对此，现有技术中通常需要采用人工方式，实现对元数据的抽取和对所缺失元数据的添加，以保证系统中的各分布式组件能够准确地对采集到的机器数据进行实时分析、批量处理和查询等后续处理。但是这种方式不仅耗时耗力，效率比较低，而且容易出错，准确率差。

发明内容

鉴于上述问题，提出了本发明以便提供一种克服上述问题或者至少部分地解决上述问题的机器数据在线处理方法及系统。

本发明的一个方面，提供了一种机器数据在线处理方法，包括:

对实时采集的机器数据进行元数据识别，将无法识别的异常机器数据缓存到异常消息队列；

对所述异常消息队列中的异常机器数据进行分类，以将所述异常机器数据中由于未注册元数据而导致无法识别的异常数据存放在第一异常目录；

读取所述第一异常目录中的异常数据，抽取该异常数据中包含的元数据，将所述元数据注册到元数据管理模块，并对所述第一异常目录中的成功进行元数据注册的异常数据添加注册标识；

提取所述第一异常目录中添加有注册标识的数据，将提取出的数据导入存放有有效机器数据的有效数据目录。

其中，所述方法还包括：

周期性地对所述有效数据目录中的数据添加固定标记；

定时扫描所述有效数据目录，将所述有效数据目录中添加有固定标记的数据批量导入指定的文件目录。

其中，对所述异常消息队列中的异常机器数据进行分类，包括：

根据预设的数据过滤逻辑提取所述异常消息队列中的数据格式非法而导致无法识别的异常数据，并将该部分异常数据存放在第二异常目录；

将所述异常消息队列中的其他机器数据划分为由于未注册元数据而导致无法识别的异常数据。

其中，在所述将所述元数据注册到元数据管理模块之后，所述方法还包括:

对所述第一异常目录中的没有成功进行元数据注册的异常数据添加处理次数标记；

当再次对所述第一异常目录中的异常数据进行读取时，不再对对应的处理次数标记大于预设值的异常数据进行读取。

本发明的另一个方面，提供了一种机器数据在线处理系统，包括: