[发明专利]车辆用控制数据的生成方法、控制装置、系统及学习装置

说明书

本发明涉及车辆用控制数据的生成方法、车辆用控制装置、车辆用控制系统以及车辆用学习装置。到经过预定期间为止，CPU基于加速器操作量、车速、坡度、曲率以及当前的变速比，设定作为行动的变速比。CPU根据设定的变速比，操作变速装置，并取得此时的曲轴的转速。在经过预定期间的情况下，CPU通过根据转速和/或变速比的切换次数是否满足基准来给予奖励，从而更新行动价值函数。

技术领域

本发明涉及车辆用控制数据的生成方法、车辆用控制装置、车辆用控制系统以及车辆用学习装置。

背景技术

日本特开2004-257434号公报中记载了一种控制装置，该控制装置具有根据加速器(油门)操作量和车速来确定变速装置的变速比(传动比、齿轮速比)的第1换挡规律(shift schedule)和第2换挡规律，并根据加速度的绝对值的积分值，选择采用两个换挡规律中的哪一个。

通过将换挡规律根据积分值进行切换，相比于采用根据加速器操作量和车速而唯一确定的规律的情况，能够更适当地进行变速比的切换。然而，虽然如上述这样，通过使变速比的切换控制的输入增加，能够更适当地切换变速比，但是换挡规律的匹配工作量会增大。

发明内容

为了解决上述问题，根据本发明的第一技术方案，提供一种使用存储装置和执行装置的车辆用控制数据的生成方法。该方法包括：将关系规定数据存储于所述存储装置，所述关系规定数据是规定偏差量变量及所述车辆的状态与变速比变量的关系的数据，所述偏差量变量是与车辆行驶的道路的从基准道路的偏差量有关的变量，所述变速比变量是与搭载于所述车辆的变速装置的变速比有关的变量；以及在将所述关系规定数据存储于所述存储装置的状态下，由所述执行装置执行如下处理：操作处理，该操作处理操作所述变速装置的变速比；取得处理，该取得处理取得基于传感器的检测值的所述车辆的状态及所述偏差量变量；奖励计算处理，该奖励计算处理基于通过所述取得处理取得的所述车辆的状态，使在所述车辆的特性满足预定基准的情况下给予的奖励大于在所述车辆的特性不满足预定基准的情况下给予的奖励；和更新处理，该更新处理将通过所述取得处理取得的所述车辆的状态及所述偏差量变量、和与所述操作处理的操作对应的所述奖励，作为向预先确定的更新映射的输入，更新所述关系规定数据。所述更新映射输出以使按照所述关系规定数据来操作所述变速比的情况下的关于所述奖励的期待收益(回报)增加的方式进行了更新的所述关系规定数据。

上述关系规定数据是除了根据车辆的状态之外还根据偏差量变量来确定变速比变量的数据，所以与仅确定车辆的状态与变速比变量的关系的数据相比，能够根据道路的状态指示更适当的变速比。在此，在上述方法中，通过计算伴随变速装置的操作的奖励，能够掌握通过该操作而获得怎样的奖励。而且，通过基于奖励，根据按照强化学习的更新映射，更新关系规定数据，从而能够设定偏差量变量及车辆的状态与变速比的关系。因此，能够在设定偏差量变量及车辆的状态与变速比的关系时削减匹配工作量。

在上述车辆用控制数据的生成方法中，优选为，所述基准道路是满足坡度为坡度基准值这一意思的基准的道路，由所述取得处理取得的所述偏差量变量包括与道路的坡度有关的变量。

在道路的坡度大的情况下，与道路的坡度小的情况相比，驱动轮所要求的转矩(torque)变得更大，所以根据道路的坡度，适当的换挡规律可能不同。于是，在上述方法中，通过使偏差量变量包括与道路的坡度有关的变量，能够通过强化学习来学习确定道路的坡度与变速比的适当关系的关系规定数据。

在上述车辆用控制数据的生成方法中，优选为，所述基准道路是满足曲率为曲率基准值这一意思的基准的道路，由所述取得处理取得的所述偏差量变量包括与道路的曲率有关的变量。

在弯道(转弯)行驶时，相比于直行行驶时，用户的加速器操作和制动器(刹车)操作被切换的可能性较高，所以根据道路的曲率，适当的换挡规律不同。于是，在上述方法中，通过使偏差量变量包括与道路的曲率有关的变量，能够通过强化学习来学习确定道路的曲率与变速比的适当关系的关系规定数据。