[发明专利]机器学习系统的用户感知解释选择

权利要求书

1.一种系统，包括：

存储器，所述存储器存储计算机可执行组件；

处理器，所述处理器可操作地耦合到所述存储器，并且执行存储在所述存储器中的计算机可执行组件，其中所述计算机可执行组件包括：

解释选择组件，所述解释选择组件访问生成机器学习输出的不同类型的解释的多个解释生成组件；以及

监控组件，所述监控组件监控接收机器学习系统输出的实体的指示符，以获得用户情绪状态描述符，并且其中所述解释选择组件还将来自选择的解释生成组件的解释提供给用户界面，用于评估具有所述解释的机器学习系统输出。

2.根据权利要求1所述的系统，其中所述解释选择组件还访问用于所述解释生成组件的元数据，其中所述元数据定义一种或多种类型的解释，并且其中所述元数据包括指示所述实体对于所述一种或多种类型的解释所需的认知参与水平的信息。

3.根据权利要求1所述的系统，其中所述指示符包括生物或行为指示符，并且还包括启动组件，所述启动组件启动所选择的解释生成组件，所述解释生成组件提供机器学习系统输出的解释。

4.根据权利要求3所述的系统，其中所述生物和行为指示符包括以下中的至少一个：皮肤电反应、瞳孔扩大、心率、血氧水平、脑电图、肌电图、皮肤温度或行为模式。

5.根据权利要求2所述的系统，其中所述元数据包括指示所述实体对于所述类型的解释所需的认知参与水平的信息。

6.根据权利要求1所述的系统，其中所述监控组件向查询添加内容，并且其中添加的内容基于所述实体。

7.根据权利要求1所述的系统，其中一个或多个解释用元数据来注释，所述元数据在存储的回答偏好和所述实体的状态方面来描述所述解释生成组件。

8.根据权利要求1所述的系统，其中所述计算机可执行组件还包括用户反应组件，所述用户反应组件监控对机器学习系统结果解释的用户反应，并提供反馈以学习和更新用户偏好。

9.根据权利要求1所述的系统，其中所述解释生成组件提供不同类型的解释，包括基于文本的解释、视觉解释、深度解释、概要解释、类比解释和反事实解释。

10.根据权利要求1所述的系统，其中所述监控组件考虑所述实体的一个或多个偏好和所述实体的状态来确定当前实体描述，并且基于压力水平、注意力水平、平静、皮肤反应、瞳孔扩大或心率来检测所述实体的状态，并且其中所述一个或多个偏好由所述实体设置或者由所述解释选择组件基于所述实体在被提供不同解释时进行的决定的质量来学习。

11.根据权利要求4所述的系统，其中所述监控组件使用多个传感器来监控所述实体的皮肤电反应、瞳孔扩大、心率、血氧水平、脑电图、肌电图或行为模式。

12.一种计算机实施的方法，包括：

由可操作地耦合到处理器的设备访问生成机器学习输出的不同类型的解释的多个解释生成组件；

由所述设备监控接收机器学习系统输出的实体的指示符，以获得用户情绪状态描述符；以及

由所述设备将来自选择的解释生成组件的解释提供给用户界面，用于评估具有所述解释的机器学习系统输出。

13.根据权利要求12所述的计算机实施的方法，其中所述访问包括访问用于所述解释生成组件的元数据，其中所述元数据定义一种或多种类型的解释，并且其中所述元数据包括指示所述实体对于所述一种或多种类型的解释所需的认知参与水平的信息。

14.根据权利要求12所述的计算机实施的方法，其中所述指示符包括生物或行为指示符，并且所述计算机实施的方法还包括：

启动所选择的解释生成组件以提供机器学习系统输出的解释。