[发明专利]一种机器数据在线处理方法及系统

权利要求书

1.一种机器数据在线处理方法，其特征在于，包括:

对实时采集的机器数据进行元数据识别，将无法识别的异常机器数据缓存到异常消息队列；

对所述异常消息队列中的异常机器数据进行分类，以将所述异常机器数据中由于未注册元数据而导致无法识别的异常数据存放在第一异常目录；

读取所述第一异常目录中的异常数据，抽取该异常数据中包含的元数据，将所述元数据注册到元数据管理模块，并对所述第一异常目录中的成功进行元数据注册的异常数据添加注册标识；

提取所述第一异常目录中添加有注册标识的数据，将提取出的数据导入存放有有效机器数据的有效数据目录。

2.根据权利要求1所述的方法，其特征在于，所述方法还包括：

周期性地对所述有效数据目录中的数据添加固定标记；

定时扫描所述有效数据目录，将所述有效数据目录中添加有固定标记的数据批量导入指定的文件目录。

3.根据权利要求1或2所述的方法，其特征在于，对所述异常消息队列中的异常机器数据进行分类，包括：

根据预设的数据过滤逻辑提取所述异常消息队列中的数据格式非法而导致无法识别的异常数据，并将该部分异常数据存放在第二异常目录；

将所述异常消息队列中的其他机器数据划分为由于未注册元数据而导致无法识别的异常数据。

4.根据权利要求1或2所述的方法，其特征在于，在所述将所述元数据注册到元数据管理模块之后，所述方法还包括:

对所述第一异常目录中的没有成功进行元数据注册的异常数据添加处理次数标记；

当再次对所述第一异常目录中的异常数据进行读取时，不再对对应的处理次数标记大于预设值的异常数据进行读取。

5.一种机器数据在线处理系统，其特征在于，包括:

识别模块，用于对实时采集的机器数据进行元数据识别，将无法识别的异常机器数据缓存到异常消息队列；

分类模块，用于对所述异常消息队列中的异常机器数据进行分类，以将所述异常机器数据中由于未注册元数据而导致无法识别的异常数据存放在第一异常目录；

注册模块，用于读取所述第一异常目录中的异常数据，抽取该异常数据中包含的元数据，将所述元数据注册到元数据管理模块，并对所述第一异常目录中的成功进行元数据注册的异常数据添加注册标识；

提取模块，用于提取所述第一异常目录中添加有注册标识的数据，将提取出的数据导入存放有有效机器数据的有效数据目录。

6.根据权利要求5所述的系统，其特征在于，所述系统还包括：

标记模块，用于周期性地对所述有效数据目录中的数据添加固定标记；

数据导入模块，用于定时扫描所述有效数据目录，将所述有效数据目录中添加有固定标记的数据批量导入指定的文件目录。

7.根据权利要求5或6所述的系统，其特征在于，所述分类模块，具体用于根据预设的数据过滤逻辑提取所述异常消息队列中的数据格式非法而导致无法识别的异常数据，并将该部分异常数据存放在第二异常目录；将所述异常消息队列中的其他机器数据划分为由于未注册元数据而导致无法识别的异常数据。

8.根据权利要求6所述的系统，其特征在于，所述标记模块，还用于在所述注册模块将所述元数据注册到元数据管理模块之后，对所述第一异常目录中的没有成功进行元数据注册的异常数据添加处理次数标记；当再次对所述第一异常目录中的异常数据进行读取时，不再对对应的处理次数标记大于预设值的异常数据进行读取。

9.一种计算机可读存储介质，其上存储有计算机程序，其特征在于，该程序被处理器执行时实现如权利要求1-4任一项所述方法的步骤。

10.一种计算机设备，包括存储器、处理器及存储在存储器上并可在处理器上运行的计算机程序，其特征在于，所述处理器执行所述程序时实现如权利要求1-4任一项所述方法的步骤。