[发明专利]一种数据处理方法和装置

说明书

本发明公开了一种数据处理方法和装置，涉及计算机技术领域。该方法的一具体实施方式包括：监测可行驶设备的自动驾驶数据，确定监测到的自动驾驶数据的第一数据级别和第一时间区间；将产生时刻在第一时间区间内的自动驾驶数据的数据信息与第一数据级别对应存储在数据信息表中；当执行数据删除时，根据数据信息表中数据级别和对应的数据信息中的产生时刻，按预设的删除顺序逐一删除自动驾驶数据，直到数据存储空间满足预设要求。该实施方式能以精简便捷的方式定时维护数据与磁盘状态，减少冗余数据产生的网络需求与磁盘压力，有条件地保留或删除数据，兼容不同容量磁盘，满足自动驾驶场景处理需求，提高该场景中数据处理的自动化程度。

技术领域

本发明涉及计算机技术领域，尤其涉及一种数据处理方法和装置。

背景技术

每台可行驶设备(例如自动驾驶车辆)在日常测试或运营过程中会产生大量数据，例如源数据、中间数据等，这些数据使得可行驶设备(车端)磁盘容量面临较大压力。如不及时处理车端数据，将会造成数据丢失、磁盘报错等局面。

自动驾驶车端产生的数据存储在磁盘上，虽然可挂载大容量的硬盘，但使用和维护大容量硬盘中的数据也多有不便。例如，打满时如采用更换硬盘的方式，则硬盘需获得物理空间的转移才能到达使用者手中；而采用清理磁盘空间的方式，若磁盘空间容量大，则累计的历史数据较多，清理时间较长，若磁盘空间容量较小，则可能遗漏、丢失或无法获得相应的场景数据，十分不便。另外，大批量上传数据则对网络、流量要求较高，数据量大时上传时间较长，由于可行驶设备常处于移动状态，即使装载流量卡，网络状态也不完全稳定，且对流量要求较大，不适于大量数据的传输。

在实现本发明过程中，发明人发现现有技术中至少存在如下问题：

数据维护不便，对网络需求较大，不能有效减少可行驶设备的磁盘压力，无法满足自动驾驶场景的数据处理需求。

发明内容

有鉴于此，本发明实施例提供一种数据处理方法和装置，能够以精简、便捷的方式定时维护数据与磁盘状态，减少冗余数据产生的网络需求与磁盘压力，有条件地保留或删除数据，可兼容不同容量的磁盘，满足自动驾驶场景的数据处理需求，提高自动驾驶场景中数据处理的自动化程度。

为实现上述目的，根据本发明实施例的一个方面，提供了一种数据处理方法。

一种数据处理方法，包括：监测可行驶设备在各时刻产生的自动驾驶数据，每当监测到所述自动驾驶数据后，确定监测到的自动驾驶数据的第一数据级别和第一时间区间，所述第一时间区间包括第一时刻，所述第一时刻为所述监测到的自动驾驶数据的产生时刻；将产生时刻在所述第一时间区间内的所述自动驾驶数据的数据信息与所述第一数据级别对应存储在数据信息表中，所述数据信息包括对应的所述自动驾驶数据的产生时刻和存储路径；当执行数据删除时，根据所述数据信息表中的数据级别和对应的所述数据信息中的所述自动驾驶数据的产生时刻，按照预设的删除顺序逐一删除所述存储路径下的所述自动驾驶数据，直到所述可行驶设备的数据存储空间满足预设要求时，停止所述数据删除的操作。

可选地，确定所述监测到的自动驾驶数据的第一数据级别的步骤包括：确定所述监测到的自动驾驶数据的来源模块，所述来源模块为所述可行驶设备上自动驾驶程序中的功能模块；根据所述来源模块的处理逻辑，对所述监测到的自动驾驶数据进行预设处理，并根据得到的处理结果确定所述监测到的自动驾驶数据的第一数据级别。