[发明专利]一种基于多智能体技术的NPC控制方法

权利要求书

1.一种基于多智能体技术的NPC控制方法，其特征在于，包括以下步骤：

步骤(1)、为每个NPC定义一个自动推理模型——交互式动态影响图，根据NPC自身的特点与场景的特点定义交互式动态影响图的参数；

步骤(2)、根据交互式动态影响图的参数，构造NPC的行为脚本；

步骤(3)、NPC在与玩家交互过程中执行NPC的行为脚本，并记录每一动作的执行结果，其中动作即指行为脚本；

步骤(4)、根据步骤(3)中记录的每一动作的执行结果，更新交互式动态影响图的参数，重新构造NPC的行为脚本应用于新的玩家交互中；

所述步骤(2)的具体步骤如下：

步骤(21)、根据步骤(1)中所构造的交互式动态影响图和所需NPC行为脚本长度，将交互式动态影响图扩展成包含T步推理的交互式动态影响图；

步骤(22)、采用经典的动态规划求解算法求解步骤(21)得到的包含了T步推理的交互式动态影响图，最大化NPC的即时期望效用与远期期望效用的加权和，寻找到能够最大化NPC角色期望效用的策略，即寻找到能够最大化NPC在每一时刻针对各种情形所应采取的动作的条件概率最大化NPC的即时期望效用与远期期望效用的加权和的公式如下：

其中，是即时期望效用，是远期期望效用，λ是折扣因子，用来减弱远期效用对当前动作的影响，ER_i是总效用值，即NPC的即时期望效用与远期期望效用的加权和；这里表示在时刻t，通过NPC执行动作从当前状态s^t转移到下一时刻状态s^t+1，且玩家执行动作所能得到的效用值；表示在时刻t，NPC执行动作能从当前状态s^t转移到下一时刻状态s^t+1的概率，NPC所有可能的动作玩家所有可能的动作和各个时刻的可能状态集S^t和S^t+1；

步骤(23)、将步骤(22)得到的最大化NPC期望效用的策略转换成兼容当前游戏的行为脚本格式；

所述步骤(3)的具体步骤如下：

步骤(31)、NPC在与玩家角色交互过程中，针对不同玩家角色的不同动作采用NPC动作即采用步骤(23)中得到的行为脚本；

步骤(32)、记录每次NPC动作执行的结果：在每个时刻，包括玩家角色执行的动作NPC执行的动作对状态的改变，即从状态s^t迁移到状态s^t+1动作对应的效用值

所述步骤(4)的具体步骤如下：

步骤(41)、根据步骤(3)记录每次动作执行的结果，统计出NPC在每个状态s^t时，玩家角色执行的各个动作的频率，将频率归一化处理，得到在各个状态下的行为频率的条件概率即可以看作是NPC基于当前玩家的行为对NPC构造的策略描述通过与玩家行为模式的集合比较，寻找到最相似的玩家策略描述即的与的是最相似的：

根据统计得到的玩家行为策略描述更新交互式动态影响图中最相似的玩家策略描述在各种情况下采取各种行为的条件概率得到更新后的策略描述的具体公式如下：

其中，是现有交互式动态影响图中玩家行为的策略描述，是从交互数据中得到的策略描述，α是策略更新率，表示当前策略描述被更新的速度；

步骤(42)、根据步骤(3)记录的每次动作执行的结果，统计当NPC执行动作与玩家执行动作时、当前状态从s^t转移到状态s^t+1的频率的条件概率和动作对应的期望效用值更新NPC交互式动态影响图的状态转移函数和效用函数更新的具体公式如下：

其中，是现有交互式动态影响图中的条件概率，是现有交互式动态影响图中的效用函数；

步骤(43)、将步骤(41)和步骤(42)得到的结果更新交互式动态影响图，用于步骤(2)-步骤(4)。

2.根据权利要求1所述的一种基于多智能体技术的NPC控制方法，其特征在于，所述步骤(1)中，根据NPC自身的特点与场景的特点定义交互式动态影响图的参数的具体步骤如下：

步骤(11)、在交互式动态影响图中，根据NPC的可执行动作定义动作集合根据玩家角色的可执行动作定义动作集合

步骤(12)、根据NPC所处场景的性质、NPC与玩家角色的位置与属性定义状态集合S^*；

步骤(13)、根据步骤(11)和步骤(12)定义从时间t到时间t+1，状态s^t∈S^t通过NPC动作和玩家角色动作转移到状态s^t+1∈S^t+1的可能性的条件概率函数，即状态转移函数

步骤(14)、根据NPC角色的行为风格与偏好，定义在时间t，NPC通过动作和玩家角色动作从状态s^t∈S^t转移到状态s^t+1∈S^t+1的效用函数

步骤(15)、根据现有的经验知识，初始化状态转移函数与效用函数的参数；

步骤(16)、根据先验在NPC的交互式动态影响图中包含有若干个刻画玩家角色行为的策略描述每个策略描述表示玩家角色在不同状态下将执行不同动作的条件概率即玩家角色在状态s^t时执行动作的概率将N个策略描述存储于玩家行为模式的集合具体如下：