[发明专利]区分化变量去相关的稳定学习方法及装置

说明书

本发明公开了一种区分化变量去相关的稳定学习方法及装置，涉及机器学习领域，该方法包括：在多环境下采集无标签数据，利用自编码器，通过无标签数据学习变量在跨环境下的变量稳定性；根据变量稳定性，利用样本重加权的方法去除稳定变量与噪声变量之间的虚假相关性；利用加权样本的线性回归模型，降低模型的偏差。该方法在变量去相关性的过程中差异化地考虑了不同变量之间的相关性的影响；可以无监督地从多环境中学习变量的稳定性；应用加权的线性回归模型，降低模型偏差带来的参数估计误差。

技术领域

本发明涉及机器学习技术领域，特别涉及一种区分化变量去相关的稳定学习方法及装置。

背景技术

以机器学习为代表的智能技术在法律、医疗和自动驾驶等高风险领域的应用要求模型具有很强的鲁棒性和稳定性来防止意外发生。而传统的依赖于经验损失最优化的技术容易受到数据分布迁移所带来的影响而不具备很强的稳定性。

新的研究结果中，主要针对存在数据选择性偏差的情况下自变量之间的虚假相关性所带来的挑战，提出针对性的措施，以期改进后的模型能够在变量分布不稳定的测试环境中取得更稳定的预测性能，相关技术中的挑战主要有两个，挑战一：传统的机器学习方法依赖训练和测试数据产生的独立同分布假设，而真实场景下由于数据收集的时间跨度、地缘位置和采集策略容易发生变化，故此假设不容易满足；挑战二：线性回归模型是最常用的分析模型，而真实数据的产生机制可能会有偏差(比如非线性项)，这部分模型偏置会被变量间的虚假相关性放大。

发明内容

本发明旨在至少在一定程度上解决相关技术中的技术问题之一。

为此，本发明的一个目的在于提出一种区分化变量去相关的稳定学习方法，该方法在变量去相关性的过程中差异化地考虑了不同变量之间的相关性的影响；可以无监督地从多环境中学习变量的稳定性；应用加权的线性回归模型，降低模型偏差带来的参数估计误差。

本发明的另一个目的在于提出一种区分化变量去相关的稳定学习装置。

为达到上述目的，本发明一方面实施例提出了一种区分化变量去相关的稳定学习方法，包括：

S1，在多环境下采集无标签数据，利用自编码器，通过所述无标签数据学习变量在跨环境下的变量稳定性；

S2，根据所述变量稳定性，利用样本重加权的方法去除稳定变量与噪声变量之间的虚假相关性；

S3，利用加权样本的线性回归模型，降低模型的偏差。

本发明实施例的区分化变量去相关的稳定学习方法，通过对多环境下的无标签数据，学习变量稳定性，根据学习的变量稳定性，通过样本加权去除稳定变量与噪声变量之间的相关性，并利用加权样本的线性回归模型，降低模型偏差带来的影响。该方法在变量去相关性的过程中差异化地考虑了不同变量之间的相关性的影响，可以无监督地从多环境中学习变量的稳定性，在应用加权的线性回归模型之后，可以降低模型偏差带来的参数估计误差。

另外，根据本发明上述实施例的区分化变量去相关的稳定学习方法还可以具有以下附加的技术特征：

进一步地，在本发明的一个实施例中，所述S1进一步包括：在传统的自编码器结构中加入变量差分层表征变量的稳定性，在多环境下采集所述无标签数据后，在主环境下学习所述自编码器表征，固定表征通过多环境的数据学习变量的稳定性得分，得到所述变量稳定性。

进一步地，在本发明的一个实施例中，所述S2进一步包括：

通过梯度下降优化算法学习一组新的样本权重，使得所述稳定变量和所述噪声变量在加权后的相关性最小化，去除所述稳定变量和所述噪声变量之间的虚假相关。

为达到上述目的，本发明另一方面实施例提出了一种区分化变量去相关的稳定学习装置，包括：