[发明专利]控制装置以及控制方法

权利要求书

1.一种对控制对象进行控制的控制装置，其特征在于，

该控制装置具有：

控制执行装置，其按照所提供的控制规则，对所述控制对象提供控制输出；

控制方法学习装置，其使用所指定的评价函数来评价提供给所述控制对象的控制输出，利用该评价结果制作学习数据，并学习该学习数据，由此构建所述控制规则，将该控制规则提供给所述控制执行装置；以及

评价函数设定部，其预先保持多个评价函数，根据针对所述控制对象的控制状态，选择所述多个评价函数中的某一个，将所述选择出的评价函数指定给所述控制方法学习装置。

2.根据权利要求1所述的控制装置，其特征在于，

所述评价函数设定部根据针对所述控制对象的控制状态与操作员的手动操作，对所述多个评价函数分别计算评价函数良好与否判定指标，根据该评价函数良好与否判定指标，选择指定给所述控制方法学习装置的评价函数。

3.根据权利要求2所述的控制装置，其特征在于，

所述评价函数设定部对所述操作员开始手动操作的时刻和所述操作员结束手动操作的时刻的所述评价函数的评价值进行计算，使用该评价值来计算所述评价函数良好与否判定指标。

4.根据权利要求3所述的控制装置，其特征在于，

所述评价函数设定部对所述操作员开始手动操作的时刻的所述评价函数的评价值a和所述操作员结束手动操作的时刻的所述评价函数的评价值b进行计算，将所述评价函数良好与否判定指标计算为(a-b)/b。

5.根据权利要求1所述的控制装置，其特征在于，

所述评价函数将针对所述控制对象的所述控制输出和反映了该控制输出的控制结果的所述控制对象的实际情况数据设为输入，输出所述评价结果，

所述评价函数设定部学习基于操作员的手动操作、针对所述控制对象的所述控制输出、和所述控制对象的实际情况数据的学习数据，由此构建所述评价函数。

6.根据权利要求5所述的控制装置，其特征在于，

所述评价函数设定部学习基于所述操作员开始手动操作的时刻和所述操作员结束手动操作的时刻的、针对所述控制对象的所述控制输出以及所述控制对象的实际情况数据的学习数据，由此构建所述评价函数。

7.根据权利要求6所述的控制装置，其特征在于，

所述评价函数设定部将所述操作员开始手动操作的时刻的评价值设为规定值c并生成学习数据，将所述操作员结束手动操作的时刻的评价值设为规定值d并生成学习数据，并学习所述学习数据，由此构建所述评价函数。

8.根据权利要求1所述的控制装置，其特征在于，

所述控制执行装置具有：控制规则执行部，其按照所述控制对象的实际情况数据与控制操作的组合，提供针对所述控制对象的控制输出；控制输出判定部，其使用所述评价函数来判定能否应用所述控制规则执行部输出的所述控制输出，并且在判定为不可应用时将该实际情况数据与控制操作的组合不合适的情况通知给所述控制方法学习装置；以及控制输出抑制部，其在该控制输出判定部判定为不可应用时，阻止向所述控制对象输出所述控制输出，

所述控制方法学习装置具有：控制结果良好与否判定部，在所述控制执行装置将所述控制输出实际输出给所述控制对象时，在经过直至所述控制输出反映给所述控制对象的实际情况数据为止的时间延迟之后，使用所述评价函数设定部设定的评价函数，判定所述实际情况数据是因所述控制输出得以改善还是恶化这样的控制结果的良好与否；学习数据制作部，其使用由该控制结果良好与否判定部所判定的控制结果的良好与否和所述控制输出来获得监督数据；以及控制规则学习部，其将所述实际情况数据和所述监督数据作为学习数据来进行学习，

通过所述控制方法学习装置进行学习，由此根据所述控制对象的状态针对多个控制目标而获得个别的实际情况数据与控制操作的组合，将所获得的实际情况数据与控制操作的组合用作所述控制规则执行部中的所述控制对象的实际情况数据与控制操作的已确定的组合。

9.一种用于对控制对象进行控制的控制方法，其特征在于，

使计算机执行如下内容：

按照所提供的控制规则，对所述控制对象提供控制输出，

使用所指定的评价函数来评价提供给所述控制对象的控制输出，

利用该评价结果制作学习数据，

学习该学习数据由此构建所述控制规则，

根据针对所述控制对象的控制状态，选择并指定预先保持的多个评价函数中的某一个。