[发明专利]训练人工智能模型的方法和装置

说明书

公开了训练人工智能模型的方法和装置。该模型用于处理张量数据并且输出指示多种类别之一的分类结果，张量数据包括多个元素，每个元素包括多个特征。该训练方法包括：对张量数据进行分解以获得核心张量；基于核心张量执行第一解释算法，以确定每个元素对于每种类别的贡献分，其中，贡献分表示该元素对于该类别被确定为分类结果的贡献程度；在多个元素中选择贡献分大于阈值的元素；针对所选择的每一个元素，利用第二解释算法来确定该元素中的每个特征对于每种类别的重要性分数；基于重要性分数来选择特征，并且基于所选择的特征来构建张量数据训练样本；利用构建的张量数据训练样本来训练该模型。

技术领域

本发明总体上涉及人工智能模型的训练，更具体地，涉及对于处理张量数据的人工智能模型的解释以及基于解释结果的训练。

背景技术

近年来，人工智能已经迅速地得到广泛应用，其极大地助力了更多数据的产生以及各种算法的改进。然而，研究者们已经发现一个关键问题，即，人工智能模型的不透明性。虽然这些高精度模型通常能够提供有效的预测，但其对于人们而言类似于“黑匣子”，也就是说，它们往往却无法对给出的结果进行解释。因此，针对“黑匣子”的可解释性算法已经成为研究热点。在诸如自动驾驶、医疗和金融决策等“高风险”领域，在利用机器学习模型进行重大决策时，人们往往需要知晓模型所给出结果的依据，从而判断模型的可信赖程度。因此，使“黑匣子”透明化，使其具有可解释性，具有重要的意义。

目前，针对传统的数组数据的机器学习模型可以使用诸如LIME(局部可解析的模型无关的解释方法，Local Interpretable Model-agnostic Explanations)、SHAP(SHapley Additive exPlanation)等解释方法，但是对于张量数据(tensor data)的机器学习模型，尚不存在能够应用的解释方法。

此外，张量数据的信息量往往较大，在利用高阶空间表达时结构复杂，数据分布稀疏。因此在针对张量数据的分类预测中，往往首先通过张量分解方法(例如Tucker和CP分解)对数据进行降维，然后利用模型进行预测。然而，经过张量分解后的数据更不利于模型的透明性和可解释性。

发明内容

鉴于以上问题，本发明提出了对于处理张量数据的人工智能模型的解释方法，以及基于解释结果而训练人工智能模型的方法。该方法不仅可以对“黑匣子”的输出结果进行解释，还可以基于解释结果对训练数据的特征进行筛选，从而改善训练，提高人工智能模型的性能。

根据本发明的一个方面，提出了一种用于训练分类模型的方法，其中，所述分类模型用于处理张量数据，并且输出指示多种类别之一的分类结果，所述张量数据包括多个元素，每个元素包括多个特征。所述方法包括：对所述张量数据进行分解以获得核心张量；基于所述核心张量执行第一解释算法，以确定所述多个元素中的每个元素对于每种类别的贡献分，其中，所述贡献分表示所述元素对于所述类别被确定为分类结果的贡献程度；在所述多个元素中选择贡献分大于阈值的元素；针对所选择的元素中的每一个，利用第二解释算法来确定所述元素中的每个特征对于每种类别的重要性分数；基于重要性分数来选择特征，并且基于所选择的特征来构建张量数据训练样本；以及利用构建的张量数据训练样本来训练所述分类模型。

根据本发明的另一方面，提供了一种用于训练分类模型的装置，其中，所述分类模型用于处理张量数据，并且输出指示多种类别之一的分类结果，所述张量数据包括多个元素，每个元素包括多个特征。所述装置包括：存储有程序的存储器；以及一个或多个处理器，所述处理器通过执行所述程序而执行以下操作：对所述张量数据进行分解以获得核心张量；基于所述核心张量执行第一解释算法，以确定所述多个元素中的每个元素对于每种类别的贡献分，其中，所述贡献分表示所述元素对于所述类别被确定为分类结果的贡献程度；在所述多个元素中选择贡献分大于阈值的元素；针对所选择的元素中的每一个，利用第二解释算法来确定所述元素中的每个特征对于每种类别的重要性分数；基于重要性分数来选择特征，并且基于所选择的特征来构建张量数据训练样本；以及利用构建的张量数据训练样本来训练所述分类模型。