[发明专利]测量数据格式MDF文件的处理方法及设备

说明书

本发明涉及一种测量数据格式MDF文件的处理方法，所述方法包括：确定所述测量数据格式MDF文件中的感兴趣的数据块的文件偏移地址；在所述测量数据格式MDF文件中增加包含指示所述文件偏移地址的索引表；以及将所述索引表和从所述测量数据格式MDF文件中所提取的数据发送至数据库进行缓存存放。本发明还涉及测量数据格式MDF文件的处理设备以及计算机存储介质。

技术领域

本发明涉及测量数据格式MDF文件的处理领域，更具体地，涉及一种测量数据格式MDF文件的处理方法、设备以及计算机存储介质。

背景技术

目前，在车辆研发项目中，有大量的测量数据需要存储和分析。例如，车辆的持久性运行数据的数据量粗略估计高达1.5PB。面对如此巨大的数据量，一般采用自动化及测量系统标准化协会ASAM规定的测量数据格式MDF文件（例如*.MF4）来进行存储。该MDF文件为树形结构，具有方便存储数据等优点，但从该MDF文件中读取数据较为麻烦。

例如，在使用CANAPE软件对MF4文件打开时，需要将MF4整体进行加载，速度很慢，不能满足某些实时性较强的应用。另外，当前也没有良好的开源python应用程序接口API来支持对该大型MF4文件进行快速数据读取。

发明内容

根据本发明的一方面，提供了一种测量数据格式MDF文件的处理方法，所述方法包括：确定所述测量数据格式MDF文件中的感兴趣的数据块的文件偏移地址；在所述测量数据格式MDF文件中增加包含指示所述文件偏移地址的线索（thread）的索引表（indexingtable）；以及将所述索引表和从所述测量数据格式MDF文件中所提取的数据发送至数据库进行缓存存放。

作为上述方案的补充或替换，在上述方法中，在所述测量数据格式MDF文件中增加包含指示所述文件偏移地址的线索的索引表包括：在所述测量数据格式MDF文件的末尾处增加附件块AT，所述附件块AT包括索引表，所述索引表包含指示所述文件偏移地址的线索。

作为上述方案的补充或替换，在上述方法中，所述数据库为块存储引擎。

作为上述方案的补充或替换，上述方法还包括：根据所述数据的使用频次选择不同的存储装置进行存放。

作为上述方案的补充或替换，在上述方法中，在所述数据的使用频次大于或等于第一阈值时，将所述数据存储在高速缓存中；在所述数据的使用频次小于所述第一阈值但大于或等于第二阈值时，将所述数据转移至第一硬盘中进行缓存；以及在所述数据的使用频次低于所述第二阈值时，将所述数据转移至第二硬盘进行缓存。

作为上述方案的补充或替换，在上述方法中，所述高速缓存的读取速度大于所述第一硬盘的读取速度，并且，所述第一硬盘的读取速度大于所述第二硬盘的读取速度。

根据本发明的另一个方面，提供了一种测量数据格式MDF文件的处理设备，所述设备包括：确定装置，用于确定所述测量数据格式MDF文件中的感兴趣的数据块的文件偏移地址；增加装置，用于在所述测量数据格式MDF文件中增加包含指示所述文件偏移地址的线索的索引表；以及发送装置，用于将所述索引表和从所述测量数据格式MDF文件中所提取的数据发送至数据库进行缓存存放。

作为上述方案的补充或替换，在上述设备中，所述增加装置配置成在所述测量数据格式MDF文件的末尾处增加附件块AT，所述附件块AT包括所述索引表。

作为上述方案的补充或替换，在上述设备中，所述数据库为块存储引擎。

作为上述方案的补充或替换，上述设备还包括：选择装置，用于根据所述数据的使用频次来选择不同的存储装置进行存放。