[发明专利]样本增强方法、模型训练方法及系统

说明书

本发明公开一种样本增强方法、模型训练方法及系统，涉及数据处理技术领域，可提升样本数据的数量和质量，并减少样本生成时间。该样本增强方法包括：划分变量为独立变量、部分关联变量和剩余关联变量；独立变量数据随机生成，根据独立变量数据和指定公式计算部分关联变量数据，以上述两类数据作为输入，采用简化模型计算获取剩余关联变量数据；将上述三类数据合并作为严格机理模型模拟样本输入数据。根据欧式距离将所述样本输入数据分成多个子样本集，对各子样本集中的样本排序，按照样本顺序，利用严格机理模型依次进行分步模拟，获取样本输出数据，与相应的样本输入数据合并，获得完整样本数据。通过样本可视化样本分布，补充稀疏区域的样本。

技术领域

本发明涉及数据处理技术领域，尤其涉及一种样本增强方法、模型训练方法及系统。

背景技术

随着工业大数据时代的来临，基于数据驱动的建模方法在现代流程工业中的研究和应用引起了广泛关注。

近些年，流程工业在信息化方面持续不断投入，在线仪表、分析设备不断投用，积累了海量的生产过程数据，为数据驱动的建模方法的应用打下了良好的数据基础；大数据、深度学习等技术快速发展提供了丰富高效的算法，并且不断进步，GPU、TPU等智能芯片性能不断提升，为数据驱动建模的大规模行业应用打下了技术基础。

虽然生产数据多，但由于装置操作变化较小，导致数据多样性少。另外数据分布不均衡，存在大量数据缺失或数据质量不高的区域。为了使模型能尽可能的覆盖最优操作区域且能准确反映装置的实时特性，需要扩大数据覆盖范围和均匀数据分布密度。

针对此需求，普遍采用严格机理模型模拟的方法对数据进行扩充。在此过程中，因为数据量大，所以通常采用随机产生数据的方法产生模拟所需的输入数据。对于流程复杂的装置，这种方法存在模拟收敛率低、生产足量样本耗时长的问题，另外数据分布不一定均匀。

发明内容

本发明的目的在于提供一种适用于炼油和化工装置的样本增强方法、模型训练方法及系统，能够提升样本数据的数量和质量，同时降低时间成本。

为了实现上述目的，本发明的第一方面提供一种样本增强方法，包括：

将变量划分为独立变量、部分关联变量和剩余关联变量；

根据历史生产数据中每种变量对应的历史数据，获取每种变量对应的历史数据分布范围；

在每个独立变量对应的分布范围内随机生成多个随机数据，根据独立变量对应的随机数据计算出部分关联变量对应的中间数据，然后采用预先训练完成的简化模型以随机数据和中间数据作为输入计算并判断计算结果是否收敛，并在收敛时获取剩余关联变量对应的剩余数据；

将随机数据、中间数据和剩余数据整理合并成作为后续模拟的输入数据；

采用欧式距离对输入数据进行聚类得到多组子样本集，所述子样本集中包括多个样本，并对每组所述子样本集中的样本进行排序；

通过预先训练完成的严格机理模型，对每个子样本集中的样本按照顺序批量、分步进行模拟计算，得到输出数据；

汇总并合并各样本的输入数据和对应的输出数据，得到通过样本增强获取的多个完整样本数据；

对获取的多个样本数据的分布范围进行可视化分析，并对稀疏区域的样本进行补充。

优选地，根据历史生产数据中每种变量对应的历史数据，获取每种变量对应的历史数据分布范围的方法包括：

统计历史生产数据中每种变量对应的历史数据的上下限，并将上下限的范围作为对应变量的历史数据分布范围。

优选地，在每个独立变量对应的分布范围内随机生成多个随机数据的方法包括：

基于每个独立变量对应的读取数据分布范围均匀的随机生成多个随机数据。