[发明专利]针对黑盒机器学习模型的规则确定

摘要

本公开内容的各实施例涉及针对黑盒机器学习模型的规则确定。描述了针对黑盒机器学习模型(BBMLM)的规则确定。这些规则由解释系统确定以描述BBMLM的操作以将对BBMLM的输入与BBMLM的观察到的输出相关联，并且不需要知道由BBMLM在操作中使用以进行这些关联的逻辑。为了确定这些规则，解释系统最初生成代理黑盒模型以仅基于指示输入和观察到的输出的数据来模仿BBMLM的行为，因为被实际使用的逻辑对系统不可用。解释系统通过使用遗传算法组合基于代理黑盒模型的输出而被标识的条件来生成描述BBMLM的操作的规则。这些规则被输出作为if‑then语句，if‑then语句被配置有被形成作为条件的列表的if部分和具有关联的观察到的输出的指示的then部分。

主权项

1.一种在用来描述黑盒机器学习模型的操作的数字媒体环境中由计算设备实现的方法，所述方法包括：由所述计算设备生成代理黑盒模型以基于指示对黑盒机器学习模型的输入和所述黑盒机器学习模型的观察到的输出的数据来模仿所述黑盒机器学习模型的行为，所述数据还指示所述黑盒机器学习模型将其与所述输入相关联的所述观察到的输出；由所述计算设备将所述输入的未分类属性拆分为分类属性；由所述计算设备通过根据由所述数据指示的所述输入将值与所述分类属性相关联来形成输入实例；由所述计算设备将所述输入实例暴露给所述代理黑盒模型；由所述计算设备从所述代理黑盒模型接收所述黑盒机器学习模型将所述输入实例与所述观察到的输出相关联的概率；由所述计算设备基于所述概率来生成用于所述观察到的输出的条件，条件包括分类属性的标识符和来自与观察到的输出相关联的输入实例的属性值或值的范围；由所述计算设备通过将生成的所述条件与遗传算法组合来生成用于所述观察到的输出的规则，所述规则包括生成的所述条件中的至少两个条件的组合和相关联的所述观察到的输出的指示。