[发明专利]信息提供装置及存储信息提供程序的存储介质

权利要求书

1.一种信息提供装置，其特征在于，

包括智能电子控制单元，该智能电子控制单元含有：

状态空间构成部，其通过将多种车辆数据关联起来而定义车辆的状态，从而构成多个状态的集合即状态空间；

行动空间构成部，其将表示基于驾驶员对车载设备的操作提案的响应而执行的车载设备的操作内容的数据，定义为行动，从而构成多个行动的集合即行动空间；

增强学习部，其存储驾驶员对所述车载设备的操作提案的响应的历史记录，使用该存储的历史记录，设定作为表示所述车载设备的操作提案的适合程度的指标的回报函数，并且通过基于该回报函数的增强学习，计算出在构成所述状态空间的各状态下，执行构成所述行动空间的各行动的概率分布；

分散度运算部，其对所述增强学习部计算出的概率分布的分散度进行运算；以及

信息提供部，其在由所述分散度运算部运算出的概率分布的分散度小于阈值时，将成为对象的行动固定为操作提案的对象而输出，即进行确定的操作提案，在由所述分散度运算部运算出的概率分布的分散度为所述阈值以上时，从多个候选中将成为对象的行动选择为操作提案的对象而输出，即，进行试错性的操作提案。

2.一种信息提供装置，其特征在于，

包括智能电子控制单元，该智能电子控制单元含有：

状态空间构成部，其通过将多种车辆数据关联起来而定义车辆的状态，从而构成多个状态的集合即状态空间；

行动空间构成部，其将表示基于驾驶员对车载设备的操作提案的响应而执行的车载设备的操作内容的数据，定义为行动，从而构成多个行动的集合即行动空间；

增强学习部，其存储驾驶员对所述车载设备的操作提案的响应的历史记录，使用该存储的历史记录，设定作为表示所述车载设备的操作提案的适合程度的指标的回报函数，并且通过基于该回报函数的增强学习，计算出在构成所述状态空间的各状态下，执行构成所述行动空间的各行动的概率分布；

分散度运算部，其通过将与构成所述状态空间的多个状态相对应的、由所述增强学习部计算出的概率分布的分散度进行加合运算，从而运算所述状态空间的分散度；以及

信息提供部，其在由所述分散度运算部运算出的所述状态空间的分散度小于阈值时，将成为对象的行动固定为操作提案的对象而输出，即进行确定的操作提案，在由所述分散度运算部运算出的所述状态空间的分散度为所述阈值以上时，从多个候选中将成为对象的行动选择为操作提案的对象而输出，即，进行试错性的操作提案。

3.根据权利要求2所述的信息提供装置，其特征在于，

所述增强学习部构成为，在将构成所述状态空间的各状态至构成所述行动空间的各行动的映射作为策略，且将在所述各状态下遵从所述策略的情况下所得到的累计回报的期待值设为状态值函数，将构成所述状态空间的全部状态中使所述状态值函数最大的所述策略设为最优策略时，将构成所述状态空间的各状态下从所述行动空间中选择了规定行动后遵从所述最优策略的情况下始终得到的累计回报的期待值推定为最优行动值函数，基于该推定出的最优行动值函数计算所述概率分布，

所述信息提供部构成为，在由所述分散度运算部运算出的所述状态空间的分散度小于所述阈值时，将当前状态下的使所述最优行动值函数最大化的行动成为对象，进行所述确定的操作提案。

4.根据权利要求3所述的信息提供装置，其特征在于，

所述信息提供部构成为，在由所述分散度运算部运算出的所述状态空间的分散度为所述阈值以上时，其执行的所述试错性的操作提案呈现出的趋势为，当前状态下的所述概率分布的概率密度越高的行动，被选择为对象的频率越高。

5.根据权利要求3或4所述的信息提供装置，其特征在于，

所述分散度运算部将构成所述状态空间的各状态下的构成所述行动空间的各行动被执行的概率分布的分散度定义为熵，并且将所述状态空间的分散度定义为平均熵，所述信息提供部使用将所述平均熵的值设定为ε值的ε-贪婪法，以ε值越大则所述试错性的操作提案频率越高的趋势，选择所述确定的操作提案或所述试错性的操作提案。