[发明专利]一种元数据采集方法及装置

说明书

本发明提供了一种元数据采集方法及装置，其中，该方法包括：建立根目录，并在所述根目录下根据数据源的唯一标识为所述数据源创建子目录；为所述子目录生成锁文件，其中，所述锁文件至少包括锁文件的状态、采集元数据的当前任务的时间戳；当通过所述子目录检测到采集所述数据源的元数据的第一文件录入时，对所述锁文件增加排他锁；在所述第一文件完成录入之后，释放所述排他锁，并将所述第一文件传输到图数据库中保存。通过本发明，可以解决相关技术中元数据采集过程中若出现录入异常如何保证数据一致性的问题，基于文件锁的方式开展元数据采集，保证了数据的一致性。

技术领域

本发明涉及监控领域，具体而言，涉及一种元数据采集方法及装置。

背景技术

对于基于将数据源的元数据输出为特定格式文件，并以此文件进行解析录入图数据库中的元数据系统来说，常规的采集录入控制方式大致为系统内部的任务调度系统为主，任务调度系统的实现为多线程的调度，实现细节为抽象出业务逻辑，通过各种锁机制以及并发编程实现并发调度，该方式虽然可以完成业务需求，但是也有很多弊端，例如扩展系统的调度方式不够灵活，且每次扩展功能，将大大加大系统的复杂度，复杂度提升带来稳定性的降低，和测试工作的增加，此外，对于调度系统调度的任务来说，当任务出错时，若没有处理妥当，将导致整个系统的异常和崩溃，这里面的任务通常为将文件的内容录入到图数据库系统中，若此任务期间出现录入异常，如何做到数据一致性，且回滚是十分困难的。

针对相关技术中元数据采集过程中若出现录入异常如何保证数据一致性的问题，尚未提出解决方案。

发明内容

本发明实施例提供了一种元数据采集方法及装置，以至少解决相关技术中元数据采集过程中若出现录入异常如何保证数据一致性的问题。

根据本发明的一个实施例，提供了一种元数据采集方法，包括：

建立根目录，并在所述根目录下根据数据源的唯一标识为所述数据源创建子目录；

为所述子目录生成锁文件，其中，所述锁文件至少包括锁文件的状态、采集元数据的当前任务的时间戳；

当通过所述子目录检测到采集所述数据源的元数据的第一文件录入时，对所述锁文件增加排他锁；

在所述第一文件完成录入之后，释放所述排他锁，并将所述第一文件传输到图数据库中保存。

可选地，所述方法还包括：

在对所述锁文件增加排他锁的同时，将所述锁文件的状态由初始的等待状态变更为运行中；

在释放所述排他锁的同时，将所述锁文件的状态有所述运动中变更为所述等待状态。

可选地，所述方法还包括：

在所述锁文件的状态为运动中的情况下，若通过所述子目录先后检测到采集所述数据源的元数据的第二文件和第三文件触发录入，分别记录所述第二文件和所述第三文件触发录入的触发时间；

在检测到所述锁文件的状态变更为所述等待状态时，根据所述触发时间的先后将所述第二文件录入到所述子目录中，之后将所述第三文件录入所述子目录中。

可选地，所述方法还包括：

在所述第一文件录入所述子目录之后，通过所述子目录检测所述第一文件是否存在错误；

在检测到所述第一文件存在错误的情况下，在所述第一文件中增加错误标记。

可选地，所述方法还包括：

在将所述第一文件传输到图数据库中保存之后，通过所述图数据库检测所述第一文件是否存在错误；

在检测到所述第一文件存在错误的情况下，在所述第一文件中增加错误标记。