[发明专利]数据训练方法、装置、设备及存储介质

说明书

本申请公开了一种数据训练方法、装置、设备及存储介质，该方法包括对获取的至少一种气象观测数据进行修正，得到至少一种训练数据；将至少一种训练数据输入预设变分自编码器，对变分自编码器进行训练；其中，一种训练数据为一组时间序列数据，预设变分自编码器包括时序模块。相比于传统方法中仅针对单个时间点数据进行质量控制的手段，本方案考虑到数据时间变化信息，对一个时间序列上的数据进行检测，引入更多的参考信息，可以有效提高气象站点数据质量控制的准确性。

技术领域

本申请实施例涉及气象观测领域，尤其涉及一种数据训练方法、装置、设备及存储介质。

背景技术

近年来，在气象观测领域，气象观测数据的数据量呈指数级增长，气象观测数据质量的高低，直接影响天气预报以及气候预测的准确性。因此，需要对气象观测数据进行质量控制，去除低质量、不准确的气象观测数据(如突然的上升或下降，趋势改变，层级变换，超出历史最大值/最小值等)，避免这些低质量数据对气候统计等业务工作产生影响。目前，传统的质控算法包括：利用历史资料的气候学界限值以及要素允许值进行检查、3σ标注(对3倍标准差以上数据剔除)等。但这些方法对要素异常变化缺乏灵敏性，不能满足质量控制工作的需要。

发明内容

本申请提供一种数据训练方法、装置、设备及存储介质，能够考虑到数据时间变化信息，对一个时间序列上的数据进行检测，引入更多的参考信息，可以有效提高气象站点数据质量控制的准确性。

第一方面，本申请实施例提供了一种数据训练方法，该方法包括：

对获取的至少一种气象观测数据进行修正，得到至少一种训练数据；

将至少一种训练数据输入预设变分自编码器，对预设变分自编码器进行训练；

其中，一种训练数据为一组时间序列的数据，预设变分自编码器包括时序模块。

可选地，上述预设变分自编码器包括输入层、第一时序模块、隐变量分布层、第二时序模块、输出层。

可选地，上述对获取的至少一种气象观测数据进行修正，包括：

获取筛选阈值和纠错阈值；

根据筛选阈值和纠错阈值对获取的至少一种气象观测数据进行修正。

可选地，在对预设变分自编码器进行训练之后，该方法还包括：

将获取的一个时间序列的至少一种新数据输入训练好的编码器中，得到一个时间序列的至少一种输出数据；

根据至少一种新数据的和与至少一种输出数据的和之间的差值，判断是否将至少一种新数据加入训练集。

可选地，根据至少一种新数据的和与至少一种输出数据的和之间的差值，判断是否将至少一种新数据加入训练集，包括：

在至少一种新数据的和与至少一种输出数据的和之间的差值小于或等于判断阈值的情况下，确定至少一种新数据为正常数据；

在至少一种新数据的和与至少一种输出数据的和之间的差值大于判断阈值的情况下，根据当地气候学临界值判断是否将至少一种新数据加入训练集。

可选地，根据当地气候学临界值判断是否将至少一种新数据加入训练集，包括：

在至少一种输出数据中超过预设比例的数据大于当地气候学临界值的情况下，丢弃至少一种新数据，或者丢弃至少一种数据中大于当地气候学临界值的输出数据对应的数据；

在至少一种输出数据中大于当地气候学临界值的数据不超过预设比例的情况下，将至少一种新数据加入训练集，或者将至少一种新数据中不大于当地气候学临界值的数据加入训练集。

第二方面，本申请实施例还提供了一种数据训练装置，该装置包括：