[发明专利]面向记忆增强元学习的深度学习模型去偏方法

说明书

本发明公开了一种面向记忆增强元学习的深度学习模型去偏方法，包括：(1)获取样本数据集，并提取类别标签以及敏感属性标签；(2)构建包含控制器和外部记忆单元的深度学习模型；(3)利用深度学习模型对样本数据进行学习的过程中，依据输出键值与类别标签之间的映射关系筛选得到类别标签，并依据类别标签进行关于敏感属性的相似度检测，筛选得到敏感样本；(4)对敏感样本进行重要性检测，以确定敏感样本的重要性权重；(5)依据重要性权重对敏感样本删减或改变重要性权重，以实现对深度学习模型的去偏处理，从而达到对深度学习模型的去偏效果。

技术领域

本发明属于深度学习技术领域，具体涉及一种面向记忆增强元学习的深度学习模型去偏方法。

背景技术

随着深度学习的发展，各种智能设备逐渐增多，但是对于智能程序来说，需要数万甚至数百万的数据进行训练，这是深度学习的不足之处之一。有人认为，如果机器也可以拥有具有学习能力，当面临样本量减少的问题时，机器同样可以快速学习，这就是元学习的由来。元学习具有自我学习的能力，可以充分利用过去的经验来指导未来的任务，被认为是实现通用人工智能的关键。学习能力可以充分利用以前的知识和经验来指导新任务的学习，因此元学习已成为深度学习的新方向。

记忆增强的元学习模型是元学习的一个分支，记忆增强神经网络是利用外部记忆网络的进行存储的元学习方法之一。在记忆增强神经网络中，使用外部存储器来存储样本表示和类标签信息。通常控制器从输入中生成一个键，该键要么存储在外部内存中，要么用于检索特定的内存，然后用反向传播对整个系统进行训练，通过这种方式，记忆增强元学习可以记住经验。在基于记忆增强元学习中添加了外部记忆存储上一次的输入，使得模型能够通过外部记忆获取相关信息进行比对来实现更好的预测。

在历史记忆中存在的偏见可能会不断积累，这些偏见的具体表现在：元学习在基于种族、年龄、性别等敏感属性上的应用仍然具有不公平性，这种基于数据的学习方法会过度关联敏感属性，可能会对受保护群体表现出歧视行为，从而对个人和社会产生潜在的负面影响。在医学领域，年龄作为一种潜在的敏感属性，会影响基于深度学习诊断系统的评估结果.例如，来自UCI机器学习知识库的Heart Dataset包含了906名不同年龄段患者的14个处理过的特征，这个数据集的目标是准确地预测一个人是否患有心脏病，而研究发现系统对年龄的偏见可能会导致不必要的医疗护理。在某些简历筛选工具中，存在对性别这一敏感属性产生歧视性行为的现象，导致男性在应聘过程中比女性更有优势.如果使用这样的带有偏见深度学习模型进行预测，这种偏见使决策者做出有偏差甚至错误的判断结果，并且将会提高决策者的决策风险。

由此可见，模型中存在的偏见将会对决策者的决策造成重大不利影响，并且这些偏见几乎无处不在。因此，研究记忆增强元学习的去偏方法就显得尤其重要。

发明内容

本发明的目的是提供一种面向记忆增强元学习的深度学习模型去偏方法。通过检测记忆增强元学习的外部记忆单元包含的样本或标签中是否存在偏见信息，若存在偏见，则通过改变带偏样本的权重来进行操作，从而达到对深度学习模型的去偏效果。

本发明解决其技术问题所采用的技术方案是：

一种面向记忆增强元学习的深度学习模型去偏方法，包括以下步骤：

(1)获取样本数据集，并提取类别标签以及敏感属性标签；

(2)构建包含控制器和外部记忆单元的深度学习模型，其中，控制器用于对输入样本进行特征提取后输出键值，外部记忆单元用于存储输出键值，输入样本的类别标签以及输出键值与类别标签之间的映射关系；

(3)利用深度学习模型对样本数据进行学习的过程中，依据输出键值与类别标签之间的映射关系筛选得到类别标签，并依据类别标签进行关于敏感属性的相似度检测，筛选得到敏感样本；

(4)对敏感样本进行重要性检测，以确定敏感样本的重要性权重；