[发明专利]车辆用控制数据的生成方法、车辆用控制装置、车辆用控制系统以及车辆用学习装置

说明书

提供一种车辆用控制数据的生成方法、车辆用控制装置、车辆用控制系统以及车辆用学习装置。车辆用控制数据的生成方法包括：执行对电子设备进行操作的操作处理，执行取得车辆的状态的取得处理，执行基于车辆的状态给与奖励的奖励算出处理，执行对关系规定数据进行更新的更新处理，奖励算出处理包括变更处理，该变更处理是相对于在区域变量的值为第1值的情况下车辆的特性为预定特性时所给与的奖励，对在区域变量的值为第2值的情况下车辆的特性为预定特性时所给与的奖励进行变更的处理。

技术领域

本公开涉及车辆用控制数据的生成方法、车辆用控制装置、车辆用控制系统以及车辆用学习装置。

背景技术

例如日本特开2016－6327号公报记载了一种控制装置，其基于通过由滤波器对加速踏板的操作量进行处理来得到的值，对作为搭载于车辆的内燃机的操作部的节气门进行操作。

上述滤波器需要根据加速踏板的操作量，将搭载于车辆的内燃机的节气门的操作量设定为适当的操作量。因此，滤波器的适配需要本领域技术人员花费许多工时。这样，以往对于与车辆的状态相应的车辆内的电子设备的操作量等的适配，本领域技术人员花费了许多工时。

发明内容

以下，对本公开的多个技术方案及其作用效果进行记载。

技术方案1.根据本公开的一技术方案，提供一种车辆用控制数据的生成方法。所述生成方法包括：在存储装置存储有对车辆的状态和作为与搭载于所述车辆的电子设备的操作有关的变量的行动变量之间的关系进行规定的关系规定数据的状态下，处理电路(processing circuitry)执行对所述电子设备进行操作的操作处理，所述处理电路执行取得作为表示所述车辆所位于的区域的变量的区域变量、和基于传感器的检测值的所述车辆的状态的取得处理，所述处理电路基于通过所述取得处理取得的所述车辆的状态，执行给与奖励的奖励算出处理，所述奖励算出处理是在所述车辆的特性满足预定基准的情况下所给与的所述奖励比所述车辆的特性不满足所述预定基准的情况下所给与的所述奖励大的处理，以及所述处理电路执行更新处理，所述更新处理是使用通过所述取得处理取得的所述车辆的状态、所述电子设备的操作中所使用了的所述行动变量的值以及与所述电子设备的操作对应的所述奖励来作为向预先确定的更新映射的输入，对所述关系规定数据进行更新的处理，所述更新映射是输出以使按照所述关系规定数据操作所述电子设备的情况下的关于所述奖励的期待收益增加的方式进行了更新的所述关系规定数据的映射，所述奖励算出处理包括变更处理，所述变更处理是相对于在所述区域变量的值为第1值的情况下所述车辆的特性为预定特性时所给与的所述奖励，变更在所述区域变量的值为第2值的情况下所述车辆的特性为所述预定特性时所给予的奖励的处理。

在上述方法中，通过算出伴随着电子设备的操作的奖励，能够掌握通该操作能获得什么样的奖励。并且，基于奖励来通过进行了强化学习的更新映射对关系规定数据进行更新。由此，能够对车辆的状态与行动变量的适当的关系进行设定。因此，能够在对车辆的状态与行动变量的适当的关系进行设定时，削减对本领域技术人员要求的工时。

对车辆要求的特性能够根据车辆所位于的区域而不同。于是，在上述方法中，在根据区域变量对奖励的给与方式进行变更的同时，通过强化学习对关系规定数据进行学习，由此，能够进行能执行对于区域来说适当的控制的关系规定数据的学习。

技术方案2.在技术方案1所记载的车辆用控制数据的生成方法中，所述区域变量包括对根据平均车速区分的区域进行识别的值，所述预定基准包括与加速器响应有关的基准和与能量利用效率有关的基准，所述奖励算出处理包括在满足与所述加速器响应有关的所述基准的情况下给与比不满足与所述加速器响应有关的所述基准的情况下的奖励大的奖励的第1处理、和在满足与所述能量利用效率有关的所述基准的情况下给与比不满足与所述能量利用效率有关的所述基准的情况下的奖励大的奖励的第2处理，所述变更处理包括如下处理：对所述第1处理和所述第2处理中的至少一个处理进行变更，以使得在所述平均车速低的区域的情况下，相比于所述平均车速高的区域的情况，在提高所述能量利用效率会获得更大奖励这一方面是有利的。